jifeilong9/autojs_tyc

思路来源于https://www.v2ex.com/t/621766

Autojs

思路来源于https://www.v2ex.com/t/621766 天眼查app有一个Authorization值,对于有工商采集需求的公司得会逆向才能爬取|买别人的服务。

思路来源于https://www.v2ex.com/t/621766,简单描述就是Authorization值在有效期可以一直使用。 所以大致思路如下： 1.手机设置代理mitmproxy，autojs脚本控制天眼查app，这样本地app能生成Authorization。 2.然后mitmproxy编写脚本，提取请求头里面的Authorization，放入redis供爬虫调用。 3.贵公司的爬虫就可以跑了，每次去redis取值即可。

思路优点： 1.可以不用逆向就能很顺滑的爬取天眼查 2.加上那个博主说的多开助手,本人测试2个手机可以满足一台爬虫机器每秒并发3的访问频次。 思路缺点： 1.太依赖手机。 2.autojs脚本很垃圾，经常得加载一段时间，也就是sleep，不然提示找不到id。

优化： 1.可以不用考虑脚本错误造成爬虫集群瘫痪得可能性，本脚本成功率100%。 2.建立一个服务端,mitmproxy转发至此。这样达到并不访问天眼查服务器的效果,需要防止对方后台监控Authorization使用次数。

总结： 1.安安静静学逆向，需要时间成本，可也是巨大的技术提升。 2.无论何时,app逆向做爬虫应该是效率最大化的方式。

各位看客老爷，初入爬虫界，学艺不精，只能走歪门邪道，让各位见笑了。