newbla/proxy

一个好用的爬取并存储免费代理池脚本

爬取代理并存储

爬取 http://www.xicidaili.com/ 和 http://cn-proxy.com/ 代理并用 sqlite3 存储，其中 cn-proxy 需翻墙。

用法

• 安装依赖：pip install requests bs4

• 更新脚本：python proxy.py

• 从数据库中获取代理，示例：

  import proxy # proxy.py 在当前执行路径下
  
  requests.get('https://www.baidu.com/', proxies=proxy.get())

特色

• 每次获取代理时，先检查代理是否可用，不可用则从数据库中删除，重新获取直至可用。
• 更新代理时，不插入已存在的代理，不重复创建表。
• 自动判断网络环境，若不能翻墙则只爬取西刺代理。
• 用 Python 自带的 sqlite3 存储，简单，方便。