shellsec/housecrawler

房源爬虫

• dotnet core驱动 + Elasticsearch存储 +Kibana呈现

配置文件如下:

{
    "ESURL": "http://localhost:9200/",
    "ESUserName": "",
    "ESPassword": "",
    "CityList": [{
        "Code": "bj",
        "Name": "北京"
    }, {
        "Code": "sh",
        "Name": "上海"
    }]
}

• ESURL:Elasticsearch HTTP API地址,注意在docker中运行的时候请使用宿主机IP

• CityList:链家城市信息列表,主要是城市名和城市前缀,如 北京+bj,上海+sh

快速开始

• 感谢https://github.com/deviantony/docker-elk 提供的ELK模板

使用docker-compose运行

根目录下执行docker-compose up,然后跟着下面的部署初始化数据.

• 打开HouseCrawler的首页http://127.0.0.1:6666/ 触发爬虫任务.

• 访问Kibana首页http://localhost:5601/app/kibana#/management/kibana/index?_g=() 创建Index(Create index pattern),[Index pattern]填入"house-*",然后保存.

• 回到http://localhost:5601/app/kibana#/discover?_g=() 页面即可查看数据

• 默认半个小时刷新一次数据,每次获取100页,需要调整的话手动改一下LianJiaJob的Run方法注解.

效果图

创建Index

discover

records

search

kibana和Elasticsearch

• kibana用法:Kibana 用户手册

• Elasticsearch高级用法见:Elasticsearch: 权威指南

Bye!