Giter Site home page Giter Site logo

ipproxytool's Introduction

开源 & 免费代理工具 IPProxyTool

使用 scrapy 爬虫抓取代理网站,获取大量的免费代理 ip。循环过滤出所有可用的 ip,存入数据库以供其他项目使用
我目前开发的很多爬虫项目都用到了这个代理工具,稳定高效抓取大量数据必备神器。可以访问我的个人站点,查看我的更多有趣项目 awolfly9

项目依赖

  • python 2.7.12
  • scrapy
  • BeautifulSoup
  • requests
  • pymysql
  • web.py
  • scrapydo
  • lxml
  • 安装 mysql 并启动

安装命令:

$ pip install Scrapy BeautifulSoup requests pymysql web.py scrapydo lxml

克隆使用

将项目克隆到本地

$ git clone https://github.com/awolfly9/IPProxyTool.git

进入工程目录

$ cd IPProxyTool

修改 mysql 数据库配置 config.py 中 database_config 的用户名和密码为数据库的用户名和密码

$ vim config.py
---------------

database_config = {
	'host': 'localhost',
	'port': 3306,
	'user': 'root',
	'password': '123456',
	'charset': 'utf8',
}

运行启动脚本 ipproxytool.py。 也可以分别运行抓取,验证,服务器接口脚本,运行方法参考项目说明

$ python ipproxytool.py

如果更新后运行报错,请先删除本地数据库。

项目说明

抓取代理网站

所有抓取代理网站的代码都在 proxy

扩展抓取其他的代理网站

1.在 proxy 目录下新建脚本并继承自 BaseSpider
2.设置 name、urls、headers
3.重写 parse_page 方法,提取代理数据
4.将数据存入数据库 可以参考 ip181.py kuaidaili.py
5.如果需要抓取特别复杂的代理网站,可以参考 peuland.py

修改 runspider.py 导入抓取库,添加到抓取队列

运行 runspider.py 脚本开始抓取代理网站

$ python runspider.py

验证代理 ip 是否有效

1.从上一步抓取并存储的数据库中取出所有的代理 IP
2.利用取出的代理 IP 去请求 http://httpbin.org/get?show_env=1
3.根据请求结果判断出代理 IP 的有效性,是否支持 HTTPS 以及匿名度,
  并存储到表 httpbin 中
4.从 httpbin 表中取出代理去访问目标网站,例如 豆瓣网
5.如果请求在合适的时间返回成功的数据,则认为这个代理 IP 有效

一个目标网站对应一个脚本,所有验证代理 ip 的代码都在 validator

扩展验证其他网站

1.在 validator 目录下新建脚本并继承 Validator
2.设置 name、timeout、urls、headers
3.然后调用 init 方法,可以参考 baidu.py douban.py
4.如果需要特别复杂的验证方式,可以参考 assetstore.py

修改 runvalidator.py 导入验证库,添加到验证队列

运行 runvalidator.py 脚本验证代理 ip

$ python runvalidator.py

获取代理 ip 数据服务器接口

在 config.py 中修改启动服务器端口配置 data_port,默认为 8000 启动服务器

$ python runserver.py

服务器提供接口

获取

http://127.0.0.1:8000/select?name=douban&anonymity=1& https=yes&sort=speed&count=100

参数

Name Type Description must
name str 数据库名称
anonymity int 1:高匿 2:匿名 3:透明
https str https:yes http:no
order str table 字段
sort str asc 升序,desc 降序
count int 获取代理数量,默认 100

删除

http://127.0.0.1:8000/delete?name=free_ipproxy&ip=27.197.144.181

参数

Name Type Description 是否必须
name str 数据库名称
ip str 需要删除的 ip

插入

http://127.0.0.1:8000/insert?name=douban&ip=555.22.22.55& port=335&country=china&anonymity=1& https=yes&speed=5&source=100

参数

Name Type Description 是否必须
name str 数据库名称
ip str ip 地址
port str 端口
country str 国家
anonymity int 1:高匿,2:匿名,3:透明
https str yes:https,no:http
speed float 访问速度
source str ip 来源

TODO

项目更新

-----------------------------2017-3-30----------------------------
1.修改完善 readme
2.数据插入支持事务
-----------------------------2017-3-14----------------------------
1.更改服务器接口,添加排序方式
2.添加多进程方式验证代理 ip 的有效性

-----------------------------2017-2-20----------------------------
1.添加服务器获取接口更多筛选条件

-----------------------------2017-2-16----------------------------
1.验证代理 IP 的匿名度
2.验证代理 IP HTTPS 支持
3.添加 httpbin 验证并发数设置,默认为 4

参考

ipproxytool's People

Contributors

awolfly9 avatar

Watchers

 avatar  avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.