beants/unicode_spider

【爬虫 】爬取相似字符和中日韩统一表意文字(CJK Unified Ideographs) 的unicode对应关系；恢复因为非中日韩统一表意文字引起的文本变化

项目描述

• 从 https://www.fuhaoku.net/ 爬取 unicode 数据
• data/unofficial_unicode.py中 包括对字符串进行处理，自动merge非标准字符

  ⽹网易 ⻓长江  --->   网易 长江
  

• data 中的数据格式为：

  {
    "其他非标准Unicode":"中日韩统一表意文字Unicode"
  }

数据用途

• 让机器读懂文本时，对非中日韩统一表意文字进行替换

使用教程

• pip3 install -r requirement.txt
• 在 config.py文件中选择你想要url，替换到main.py中
• python3 main.py

TODO

• 完成 康熙部首 及其对应字符的爬取工作
• 完成 中日韩汉字部首补充 及其对应字符的爬取工作
• 完成 汉文训读 及其对应字符的爬取工作
• 完成 中日韩兼容表意文字 及其对应字符的爬取工作
• 完成 中日韩兼容表意文字增补 及其对应字符的爬取工作
• 完成数据清理工作
• 完成存储工作
• 优化数据存储