我想問下你python用的哪個版本呢？

[k1995]

我想問下你python用的哪個版本呢？

[k1995]

2.7.10

[lhq0826]

三克油，搜索引擎改成elasticsearch，然后放到框架里面我觉得会更好。

[k1995]

嗯，我现在用的就是elasticsearch，抽时间重构下代码。

[lhq0826]

爬取了两百多条之后就再没记录了，是什么原因呢？

one worker queue id done
start spider...
87687223 now spidering file ,0  file fetched
getShareLists errno:-55
request_url:http://yun.baidu.com/pcloud/feed/getsharelist?category=0&auth_type=1&request_location=share_home&start=0&limit=60&query_uk=87687223&channel=chunlei&clienttype=0&web=1
uk:87687223 error to fetch files,try again later...
one worker queue id done

一直在跳这个，是因为traceback, Queue,这个两个库没有安装的原因吗？

[k1995]

这两个肯定要装啊，还有爬的太频繁百度会封IP，等会儿再看看有没有新数据

[lhq0826]

有新数据了，我用 pycharm 装的库，这几个一直装不好