thh2018/spider

Spider项目将会不断更新本人学习使用过的爬虫方法！！！

Spider

Spider项目将会不断更新本人学习使用过的爬虫方法！！！

1、在primary中使用的爬虫方法是比较原始基础的爬虫方法，这个方法是本人最初用的方法，实在研一期间做舆情分析项目时采用的爬虫方法。 其中hotel文件夹爬取的是酒店的评论数据，先爬虫URL，然后更具URL爬虫评论，分别在url_spider和comment_spider文件中。环境语言 ubuntu python2.7 windows下没有跑过应该差不多。

2、在selenium是本人在公司帮同事爬取网页采用的方法，selenium+phantomjs/chromedriver 是比较流行的爬虫动态网页的方法，包括ajax网页。环境语言windows python2.7  ubuntu应该也能跑成功

3、CheckCaptha中利用CNN进行验证码识别，准备率可以达到98%，注释也非常详细。这个验证码识别算法仅仅是利用卷积神经算法对数字加大小写字母进行预测，不具有普遍性，可以当做学习CNN和TensorFlow的简单例子  环境语言 ubuntu python2.7  

4、LagouProject 这个项目是本人爬虫拉钩网职位信息写的一个爬虫程序，这个项目设置到的技术要素比较多，有cookie、多线程、IP代理以及使用scrapy都有涉及，是一个很好学习爬虫的程序，在这个不便做详细描述，可以参考本人博客地址:http://blog.csdn.net/demohui/article/details/77370313