matuobasyouca/spider

a simple distributed spider in Java. Java编写的一个简单分布式爬虫

spider

a simple distributed spider in Java.

Java编写的一个简单分布式爬虫.支持模板插件化，以xml形式或java编码形式编写。

dependency:com.meiya.base.mipatch download from https://github.com/matuobasyouca/e-shark-k;

依赖com.meiya.base.mipatch 移步 https://github.com/matuobasyouca/e-shark-k;

第一步： 安装java环境与mysql数据库（任务、日志、结果存储）

第二步： 编译代码

第三步： 修改config下的config.ini文件 user、pwd、url、driver分别为数据库连接相关字段

saveOneTable=0表示会根据域名不同存储在不同的表中（tieba.baidu.com） saveOneTable=1表示全部存储在conversation表中。

第四步： 可以启动服务端以及客户端了。 服务端： java com.zhangwoo.spider.server.TaskCenter 任务中心 java com.zhangwoo.spider.server.ResultCenter 结果中心

客户端： java com.zhangwoo.spider.client.process.SpiderProcess 客户端可以传入两个参数 java com.zhangwoo.spider.client.process.SpiderProcess TaskCenterIp ResultCenterIp 如果TaskCenterIp和ResultCenterIp相同，只需要传一个就可以了。

第五步： 从服务端访问 http://localhost:30090/spider/可以查看状态

添加任务： http://localhost:30090/spider/managerTask.jsp 填写任务名称和任务地址就能够添加一个任务。 只要有插件支持就可以解析并返回结果入库。 测试任务可以使用：http://www.haha365.com/fqxh/

spider's Issues

12-28 23:05:28[Thread-5|ERROR] Config.load(68) - config/config.ini 配置文件不存在

12-28 23:05:28[Thread-5|ERROR] Config.load(68) - config/config.ini 配置文件不存在 怎么回事呢？

找不到mipatch-1.0.0.jar

在maven找不到这个jar，这是为什么

wow!this project is built in 2013 ,what happened if I run this project now ?