Comments (8)
fmt.Println(sego.SegmentsToString(segments, false))
把这句的false改为true就可以了。
我遇到的问题是加载词典的路径:github.com/huichen/sego/data/dictionary.txt
这样加载不到,需要修改为完整的路径才可以
from sego.
因为“中华人民共和国**人民政府”是一个词,如果你不希望出现这个词可以从词典中删除,或者就像@shahuwang说的那样使用true选项,“中华人民共和国**人民政府”会被分词为“中华人民共和国 / **人民政府”,而且这两词还可以被进一步拆分。见这里注释
https://github.com/huichen/sego/blob/master/token.go#L44
是的,README.md中例子来自 https://github.com/huichen/sego/blob/master/tools/example.go ,需要指定完整路径。
from sego.
@huichen
用了true选项,结果是
中华/nz 人民/n 共和/nz 共和国/ns 人民共和国/nt 中华人民共和国/ns **/n 人民/n 政府/n 人民政府/nt **人民政府/nt 中华人民共和国**人民政府/nt
如果想直接得到最细的分词结果有什么方法吗?
from sego.
分词结果实际上是个树状结构(见我上面给的链接),true选项打印的实际上是深度优先遍历的节点。如果你需要最细的分词,只要深度优先遍历时仅选择叶子节点即可。
另外,你的实际应用是什么?对搜索来说,所有的节点可能都是有用的。
from sego.
我想试用一下word2vec,为此找个趁手的分词工具。
from sego.
这个word2vec看上去很好玩啊,你的中文训练数据从哪里来的?wiki?
我觉得对word2vec来说“中华人民共和国**人民政府”分成一个词也许没问题,因为这个词并不常见,可能对模型影响不大。
from sego.
@huichen 抱歉,这几天一直忙别的事,没有注意邮件。我的中文训练集是自己所在新闻网站的新闻,几万篇文档,word2vec的结果好像还可以,不过不知道除了挖掘近义词改进站内搜索的质量之外还可以有什么其他的应用?
from sego.
@brandyaptx 没实际用过word2vec,也许可以当做topic model,用word2vec生成其它机器学习系统的输入feature,比如对新闻做clustering,或者根据用户阅读历史推荐新闻什么的。
from sego.
Related Issues (20)
- 怎样可以不输出日志? HOT 1
- 分词时应该把原词加入结果
- 分词时应将原词加入到结果 HOT 1
- Hi! 请问sego能忽略标点符号吗?
- 自定义函数toLower,是否可以替换为系统函数?
- 不能获取被匹配到的词么?
- 分词文本文件
- Please add LICENSE
- 错误:当词典只有一个关键词并且该关键词在句首时,无法得到该分词
- 关于并发 HOT 1
- go module 无法加载到字典文件
- 重新载入字典时,新加入的词未加入新的对象中
- 每次都要重复加载词典,加载词典时间又很长 HOT 2
- 请问如何自定义词典,有什么规律吗? HOT 1
- 有没办法支持从filesystem加载字典 例如packr pkger
- 10:00中的10的词性识别成了x
- is there a cpp implementation with a similar algorithms with sego?
- 将文本划分成字元 的时候为什么要吧大写转为小写
- 有可以直接在linux下解压开箱即用的二进制安装包吗?
- 载入sego词典 sego词典载入完毕
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from sego.