请问sego的词库是不是有什么工具生成的?想对目前的词库进行扩容.

[insionng]

请问sego的词库是不是有什么工具生成的?想对目前的词库进行扩容.

[suntong]

同问。词库扩容很重要。

[huichen]

是直接拷贝了 jieba 的词库，你直接向词库里添加新词和词频即可，词频可以通过在你的语料中统计得到

[insionng]

@huichen 可以说明一下词库的几列具体分别是什么意思吗? 第一个是词语这是知道的,但后面的不是很清楚.

[huichen]

三列分别是 词语、在训练语料中的词频、词性

[phproot]

词频有没有计算公式？如何获得？

[huichen]

@phproot 语料库中简单的出现次数的统计

[phproot]

@huichen 语料库在那里呢？是不是可以自己去创建一个语料库，基于大数据？sego有没有类似结巴里面的添加新词的功能呢？

[huichen]

你可以把你索引的文档类似的文档拿出来做语料，生成的字典再和这里提供的词典融合一下

[phproot]

就是说，我的文章数据库中，有10万条内容。然后把这些文章当做语料，然后生成词典对吧？是使用您开发的mlf来生成吗？

[huichen]

@phproot 不是用mlf，你从语料中做文本匹配简单统计即可。