wangyifan1027/spider

python 爬虫

#python爬虫

powered by py新手,渣前端

将豆瓣电影影里正在上映的电影爬下来,并按得分高低顺序排列,可按照

url="http://movie.douban.com/nowplaying/beijing/"
get_sort_films(url)

进行调用

pyspider包含两个py文件,douban_movie_spider.py和douban_movie_spider2.py，其中douban_movie_spider.py基于py3,而douban_movie_spider2.py基于py2,两者都需要用到beautiful soup 4的库,py3的版本附带了一个图片下载功能

两者返回的形式均为[列表]=[{字典},{字典},{字典}...]

在百度云上搭建了一个tornado来显示douban_movie_spider2.py爬下来的豆瓣北京的正在上映电影 百度云的价格也太高了点吧,穷学生承受不起...

电影天堂用了一串js来反爬虫,所以不得已用正则把js的函数挑出来再用python处理.

微信公众号能在搜狗上搜索了,所以爬下来也就不是一个难事了,这里抓取的是公众号碉堡的图片链接. 处理好的demo放在coding上了.

##TODO

加入dytt8的电影信息