techperfect Goto Github PK

163spider

爬取网易客户端内容的小爬虫。

aiss-spider

爱丝APP图片爬虫，以及免支付破解VIP看图

autocrop

:relieved: Automatically detects and crops faces from batches of pictures.

baidu-music-spider

百度mp3全站爬虫

baiduyunspider

爱百应，百度云网盘搜索引擎，爬虫+网站

bilibili-user

🍥 Bilibili用户爬虫

cnblogsspider

用scrapy采集cnblogs列表页爬虫

cnkispider

**知网爬虫

csdn-spider

爬取CSDN上的博客文章

distribute_crawler

使用scrapy,redis, mongodb,graphite实现的一个分布式网络爬虫,底层存储mongodb集群,分布式使用redis实现,爬虫状态显示使用graphite实现

doubanspider

豆瓣读书的爬虫

doubanspiders

豆瓣电影、书籍、小组、相册、东西等爬虫集 writen in Python

fast-neural-style-tensorflow

A tensorflow implementation for fast neural style!

findtrip

机票爬虫（去哪儿和携程网）。flight tickets multiple webspider.(scrapy + selenium + phantomjs + mongodb)

jandan_spider

使用Python3 爬取煎蛋妹纸图片

jianshu

简书网 http://www.jianshu.com/ 的用户抓取

knowsecspider2

知道创宇爬虫题目 持续更新版本

leetcode

LeetCode solutions written in Java

lianjiaspider

链家爬虫

music-163

🕷爬取网易云音乐所有歌曲的评论

nndl-codes

Sample Codes for NNDL

node.js

node.js做的一些爬虫

panziying.github.io

proxy_pool

python爬虫代理IP池(proxy pool)

proxyspider

爬取http://www.xicidaili.com/上代理IP，并验证代理可用性

python-pinyin

汉字拼音转换工具 Python 版(pypinyin)。

qq-groups-spider

QQ Groups Spider（QQ 群爬虫）

qqspider

QQ空间爬虫（日志、说说、个人信息）

scrapy_jingdong

用scrapy写的京东爬虫

sinaspider

新浪微博爬虫（Scrapy、Redis）