使用爬虫周期性地爬取微博热搜榜,获取热搜列表,每条热搜内的热门微博和每条微博的评论。使用文本分类算法对每条评论进行情感分析,将所有微博数据和情感分析的结果存储在Redis里。运行Web服务直观地展示微博数据和情感分析结果。
HttpUtil
类负责发送http请求。RedisUtil
类负责使用Jedis
连接Redis服务器并返回Jedis实例读写数据到Redis。SegmentUtil
类重写了分词方法。
Hot
类、Weibo
类和Comment
类分别表示热搜、微博和评论的实体类,它们存储了基本的元数据和进行情感分析后的加工数据。
CrawlTask
类继承了TimerTask
能够周期性的运行,对微博热搜榜进爬取,进行情感分析,然后将数据存储到Redis。具体的爬取任务由WeiboParser
类负责,由于微博页面基本都是动态的,请求微博相应的接口返回Json
数据,然后使用jackson
框架解析微博元数据。
Train
类读取语料文件,存储到内存里,调用HanLP
对文本进行分词处理,并计算每个词的卡方值
,得到显著的词作为特征。最后生成Model
类的模型。Model
使用朴素贝叶斯算法进行文本分类。
MyClassifier
类组合了Train
和Model
类,优先从指定的路径加载序列化的模型文件,如果未获取到模型就使用Train
重新根据语料计算模型,然后将计算得到的模型序列化到指定路径。MyClassifier
类的getScore
方法调用模型对文本进行情感分析,所以实际使用中只会用到MyClassifier
。
其实
HanLP
已经实现了一个分本算法,参考HanLPClassifer
类。
Web服务由Spring Boot
支持,后端从Redis读取数据(其实数据可以直接保存在内存的数据结构里,因为前期设计时考虑对多次爬取的数据进行横向分析才存使用Redis管理数据,为了方便后续扩展还是继续使用Redis),将数据渲染到Thyemeleaf
模版中然后返回html。
模版存储在src/main/resources/templates
目录下,前端使用Bootstrap
编写, 图表使用chart.js
渲染。
- Java 8以上,本项目使用了一些Java 8的特性;
- Maven,下载项目依赖的包;
- Redis,某些数据存储在Redis中;
找到RedisUtil
,修改ADDR
为你服务器的ip地址,如果Redis服务器设置了密码就将AUTH
改为你的密码。
由于微博的限制,未登录的账户只能获取到第一页微博评论。为了爬取更多评论你需要在浏览器中登录m.weibo.cn
,浏览微博评论列表,然后打开浏览器的开发者工具查看你发送的hotflow?id=...
请求(这是请求评论request)里的Cookie,将其复制到HttpUtil
类里的header("cookie", "")
的第二个参数里。
你还可以将user-agent
设置成自己浏览器的user-agent标识。
本项目使用的分词工具为HanLP,为了分词更准确它需要一些额外的数据。
下载data.zip,解压后将data
目录复制到src/main/resources
目录下即可(分词只用到data/dictionary目录,可以将data/model目录删除节省空间),HanLP会自动在classpath下面找到数据。
我提供了一些基本的语料作为参考,在src/main/resources/train
目录下。
复制模型weibo-model
的绝对路径到MyClassifier
类的MODEL_PATH
(注意一定要用绝对路径,后续路径也是,因为项目打包成jar后运行的classpath路径不确定,相对路径可能会失效),运行时如果模型文件存在就不用重新训练模型。
复制停用词表cn_stopwords.txt
、否定词表cn_nonwords.txt
和自定义词库customwords.txt
的路径到SegmentUtil
类的相应变量。
如果想要使用其他的语料训练模型,可以复制积极情绪语料
pos.txt
和消极情绪语料neg.txt
的绝对路径到Train
类相应的路径。
- 下载了
pox.xml
中依赖的包后,在IDE中直接运行Application
类中的main函数。 - 或者使用
mvn clean package
命令将项目打包成jar,使用java -jar *.jar
运行。
看控制台的输出,爬完一次微博后在浏览器打开http://localhost:8080
查看Web页面。
由于微博翻爬虫系统对爬虫的限制非常严重,所以我设置的爬取速度非常慢,每次爬取的微博数量比较少,如果你解决了微博反爬问题,可以自定义这些参数提高爬取效率。
- 在
Application
类设置Timer
的period
参数调整定时爬虫任务的周期(默认30分钟运行一次); - 在
CrawlTask
类设置一次爬取热搜榜上的热搜个数HOT_LIST_SIZE
(默认为10条),每条热搜下微博个数WB_LIST_SIZE
(默认为一条),每条微博评论的页数CM_LIST_SIZE
(默认为5页,一页20条评论); - 在
CrawlTask
类设置每次爬取的数据存在Redis中的过期时间KEY_EXPIRE_TIME
(默认一小时后过期)。