atiger77/scrapyproject

写一些爬虫代码,,喜欢可以star :blush:

Scrapy-Project

《目录》

1. 糗事百科 QiuBai

2. 天气预报 WeatherReport

3. 第一路演 dyly

4. 克拉女神 kelagirl

5. 代理IP IpProxy

6. 肉丝写真图 rosiok

7. 煎蛋美女图 JianDan

8. 豆瓣高分书单 DouBan

QiuBai

抓取糗事百科的作者和糗事内容，最后都放到EXCEL中保存。

WeatherReport

魔都的天气变换太快，爬一下天气预报把每天和第二天的天气在下班前用邮件发出来。

dyly

第一路演新闻抓取,从AJAX中获取对应news_id回调爬取函数。

kelagirl

克拉女神专辑图片爬取。

[DONE] 完成专辑图片爬取功能；

IpProxy

爬取免费代理ip地址，验证后存库。

[DONE] 收集整体免费代理网站地址；

[DONE] 完成代理ip爬取;

[DONE] 完成代理ip验证;

[TODO] 完成代理ip存库工作；

rosiok

爬取rosiok上的写真图片,借鉴别人代码；

[DONE] 爬取写真图片；

JianDan

爬取JianDan上的写真图片。

[DONE] 爬取煎蛋网妹子图片,使用CrawlSpider进行深层爬取；

DouBan

爬取豆瓣高分书单信息。 [TODO] 爬取豆瓣信息;

scrapyproject's Issues

作者大大还在吗，kela这个报错了

作者是怎么去伪造成里面的VIP用户呢，我在学爬虫，但不知到学哪些可以实现上述目的，可以讲一些相关点，让我去了解学习吗

jandan.. 报错啊..

File "/Users/v/Desktop/ScrapyProject/JanDan/JanDan/spiders/jiandan_ooxx.py", line 18
rules = (
^
IndentationError: unexpected indent

rules = (
    Rule(LinkExtractor(allow=('http://jandan.net/ooxx/page-\d+#comments', )), callback='parse_item', follow=True),
)

18行匹配网址.. 好像也没写错啊.
你那边可以??
我什么都没改 直接 scrapy crawl JanDan 是我电脑的问题??