ling0322/webdict

一个中文词库

webdict

###2014-05-11更新###

webdict更新，从1GB果壳语料、750MB豆瓣语料、2GB腾讯新闻语料、2.5GB腾讯财经语料、500MB腾讯科技语料中进行新词发现，增加词语19739个。

webdict_with_freq.txt目前包含220934个词条

tagger.txt目前包含标注41685个

P.S. 写爬虫爬网页什么的都是泪啊QAQ

###2014-02-22更新###

webdict的第一个词库发布

webdict.txt是不包含词频的词库, 总共201195个词条。

webdict_with_freq.txt是包含了词频的词库, 总共154967个词条, 统计词频所用语料库总共1583096137个词。

两个词库使用到了CC-CEDICT的词表(CC BY-SA 3.0协议)

###2014-01-05更新###

截止今天webdict.info已经收集到了28923条词语标注，标注结果已经合并至tagged.txt。

目前正准备由Twitter语料切换到新闻和Twitter的混合语料中进行新词发现。

###2013-09-16更新###

webdict.info已经收集到了18849条词语标注，其中6346个是词语，已经合并至wendict.txt。

新增词语标注文件tagged.txt。

webdict's Issues

建议，不要用是或否，而是列表

人选东西有惯性的，如果一直都不是一个词可能会漏掉，或许可以给出多个候选的词语的列表，然后让人选哪些是一个词语，提交了再下一组，这样不容易选错，而且错了，只要没提交还可以改。

可否公布下使用的工具及方法？

可否公布下使用的工具及方法？

界面里面加上不确定是不是好一些....

加上不确定的话选的时候不用纠结某些自己不是很清楚的词....

能否更新的快一点

比如每周更新一次？

md 里面竟然有错别字哎

RT

判断标准放到标注区域上部是否会让人更舒服一些？

那几个明确的标准，可否放到标注的前面？
有些词汇自己也不是很确定，忍不住左下角瞟，感觉小吃力

能分享一下语料库吗

关于年份

词典中出现了很多某某年，虽然是词，但是在是不是不应该加入词典，不然这词典得多大？类似的还有某某日，某某元，实际可以设置简单的规则，数词和量词以及时间单位结合，除了有特殊意义的，不加入词典。
一九一一年
一九一七年
一九一九年
一九一八年
一九一四年
一九七一年
一九七七年
一九七三年
一九七九年
一九七二年
一九七五年
一九七八年
一九七六年
一九七四年
一九三一年
一九三七年