使用scrapy和pandas完成对知乎300w用户的数据分析。首先使用scrapy爬取知乎网的100w,用户资料,
最后使用pandas对数据进行过滤,找出想要的知乎大牛,并用图表的形式可视化。
#requirments:
os:win7 64bit
scrapy:1.0
python:2.7.10
anaconda:安装这个,可以使用里面的ipython notebook
#use
1.由于知乎网需要登录,所以如果想要使用这个爬虫,需要有一点scrapy基础。scrapy登陆的时候需要自己的知乎账号和密码,请修改
zhihu\zhihu\spiders\zhihu_spider.py,里面的 :
formdata =
{
'_xsrf': xsrf,#不需要修改
'email': '[email protected]', #改成自己知乎登陆账号
'password': 'abc'#改成自己的密码
},
2.下载文件夹到自己的电脑上,打开windows,cmd,cd zhihu:
scrapy crawl zhihu -o user.json(生成一个user.json文件,里面包含我们需要的用户信息:
json有将近300w条用户信息。每一条的组成结构如下所示:
url #用户主页地址
aggree_count #用户获得的赞同数(越多越牛)
thanks_count #用户得到的感谢数(越多越牛)
name #用户名字
most_good_topic #最感兴趣的话题
##关于爬虫方面的疑问,请参考这个链接:
使用scrapy模拟登陆知乎
##使用pandas对user.json进行数据分析,以及可视化。
关于这部分的代码,我全部放在'使用pandas对数据进行分析'这个文件下,只要计算机上安装了ipython notebook,就可以打开,重现计算结果,也可以直接打开里面的.html文件。
xiahaohao / zhihu_bigdata Goto Github PK
View Code? Open in Web Editor NEWThis project forked from yoghurtjia/zhihu_bigdata
使用scrapy和pandas完成对知乎300w用户的数据分析。首先使用scrapy爬取知乎网的300w,用户资料,最后使用pandas对数据进行过滤,找出想要的知乎大牛,并用图表的形式可视化。