jiran214/crawl-enpower

2021高校人工智能创意赛赋能组作品-基于 EasyDL 文本的网络环境维护系统

crawl-Enpower

2021高校人工智能创意赛赋能组作品-基于 EasyDL 文本的网络环境维护系统

###获取更新cookie： 使用Chrome打开https://www.bilibili.com, 登陆以后按F12键进入开发者模式---网络---XHR---随意打开一个接口---header---cookie 使用Chrome打开https://www.weibo.cn, 登陆以后按F12键进入开发者模式，同上 将cookie添加到spider的header中

微博id和视频bv号获取：

打开需要分析的微博或b站视频，复制url的最后一段

功能：

• 选择社区，添加bv号，爬取ListBox中的评论内容，存入数据库中
• 请求公有云部署的远程EasyDL模型接口，获得每个评论的分析结果
  • 基于文本分类的涉及政治、暴力、犯罪敏感舆论锁定
  • 基于情感倾向分析的积极氛围维护
  • 基于短文本单标签的相似谣言判断
  • 基于短文本单标签的用户隐私保护
  • 基于短文本单标签的广告检测
  • 基于短文本单标签的谣言破除
  • 基于短文本单标签的敏感言论判断
  • 对以上数据加权得到单个评论的违规指数‘index’
• 对评论内容进行词频分析并画出词云图（开发中），实现可视化统计
• 根据用户需求，查找违规用户，并采取处理

运行环境

• Python3
• Windows/Linux/MacOS

程序依赖

• jieba==0.39
• matplotlib==3.1.1
• wordcloud==1.5.0
• pymysql==0.9.3
• mongoengine==0.23.1
• tkinter

注意事项

• 版权所有，禁止商用

后续开发

• 违规用户处理，包括自动举报、提交至平台和笔记作者
• 知乎、豆瓣等社区持续开发中。。。