makaidong Goto Github PK

nlp-lang

这个项目是一个基本包.封装了大多数nlp项目中常用工具

nlp-ml

自然语言处理理论与实战

nlpir

nutch

Mirror of Apache Nutch

nyspider

各种爬虫---大众点评,安居客，58，人人贷，拍拍贷, IT桔子,拉勾网，豆瓣,搜房网,ASO100,气象数据,猫眼电影,链家,PM25.in...

otter

阿里巴巴分布式数据库同步系统(解决中美异地机房)

paddle

PArallel Distributed Deep LEarning

pingpp-java

python-learning

python-progress

python进阶 python高阶函数，底层理解和一些分布式计算

python-sdk

百度AI开放平台 Python SDK

python-spider

58同城 智联招聘 hao123 网易云课堂 **大学排名 等 的python的一些爬虫

pythonscraping

The code of book: Python Scraping

qqzeng-ip

最新IP地址数据库-多语言解析以及导入数据库脚本

questionansweringsystem

QuestionAnsweringSystem是一个Java实现的人机问答系统，能够自动分析问题并给出候选答案。

scikit-learn

scikit-learn: machine learning in Python

scrapy

Scrapy, a fast high-level web crawling & scraping framework for Python.

scrapy-163blog

利用scrapy框架爬取网易博客

scrapy-redis

Redis-based components for Scrapy.

selenium-phantomjs

利用自动化测试工具selenium和无界面浏览器phantomjs爬取拉钩网数据

simplehbase

Simplehbase is a lightweight ORM framework between java app and hbase.

simplehbaseviewer

hbase web viewer

sinaspider

新浪微博爬虫（Scrapy、Redis）

snowboy

DNN based hotword and wake word detection toolkit

spark

Mirror of Apache Spark

spark_ui_monitor_cralwer

spider

使用java+httpclient+httpcleaner，多线程、分布式爬去电商网站商品信息，数据存储在hbase上，并使用solr对商品建立索引，使用redis队列存储一个共享的url仓库；使用zookeeper对爬虫节点生命周期进行监视等。

spider-1

利用HttpClient4+实现网络小说爬虫，可动态添加热门的小说网站

spider-2

爬虫项目源码整理，使用redis进行url缓存，hbase进行详细信息的存储。使用zookeeper进行爬虫线程的状态监控。

spider01

爬虫练习1 Python抓取静态网站信息