lzjqsdd/newsspider

爬取今日头条，网易，腾讯等新闻,并建立简单的搜索引擎

Hi there 👋

newsspider's Issues

爬取主流新闻网站数据

有一个想法，爬取主流网站的数据。
然后显示这些网站是如何引导人们的注意力，然后塑造认知的。
并不以爬取内容展示，用可视化的方法展现。
比如知乎首页推荐内容，如果用户授权，就可以知道知乎给自己推荐的是什么内容了。

能否用golang colly重写相关算法

腾讯新闻的baseurl是怎么分析得到的

想问问作者你是怎么提取到腾讯新闻的baseurl的，我在官网：http://news.qq.com 上并不能找到过去的新闻存档链接，而且查看了网页的源代码也没有发现baseurl。

腾讯新闻的爬取

问一下你是怎么爬取到的？它不是有个html标签隐藏了吗？

爬取今日头条

你好，我在运行./start.sh时出现如下问题
File "/home/i-chenting/NewsSpider-master/news_spider/news_spider/spiders/TouTiaoSpider.py", line 41, in parseNews
title = articles.xpath("//div[@Class='article-header']/h1/text()").extract()[0]
IndexError: list index out of range
请问是什么原因

Scrapy 版本

你用的是什么 Scrapy 版本？起码要再README里面说明一下你的环境，或者给一个requirement.txt，至少想看看你的代码运行效果的人也能很快搭建好环境很快上手

还用python2，什么年代了？？？？

Which version of scrapy to use for this project?

I keep getting import errors, so I wonder if anyone could tell us which version of scrapy to use.

So far, the import errors including:

• from scrapy import log
• from scrapy.contrib.downloadermiddleware.useragent import UserAgentMiddleware

I tried scrapy 1.7.* and 1.3.0, neither helps.

Thanks.

每次运行的时候都报错

spider_loader = self.crawler_process.spider_loader ^ TabError: inconsistent use of tabs and spaces in indentation