foursmallleaves/fang

数据采集

58同城信息数据采集 ##################################################################################################

从 从网页抓取--> Android 接口 ---> IOS 接口 ---> 微信小程序58综合 ---> 微信小程序58 二手房

从简单的 requests, header代理，IP代理，第三方 图片验证码，滑块识别，点击图片文字操作，后续, 走避开验证码接口，就去了验证码识别模块

因为对采集新手机号码到拨打号码出去的速度要

websocket服务通讯，自己搭建服务，第三方socket服务，(域名加速财力问题没弄)

##################################################################################################

最后一次最近，微信小程序二手房，官方接口访问终于加了 sign签名，目前还没破解

58官方对反爬虫反采集个人信息迭代更新越来越频繁，因为种种原因放弃继续对抗了...

(很想走爬虫线路，不想再做web开发了，在这展示部分源码方便下简历上有点东西，毕竟以前只有做python Web开发没...)