yc-wind/embedding_study

中文预训练模型生成字向量学习，测试BERT，ELMO的中文效果

bert

说明

参考 bert-as-service,只保留生成embedding的代码。

• 想要了解具体的bert实现，请参考 google-bert

• 已经预训练好的模型，请访问 模型链接.

• bert_classification。基于 bert 的分类模型，下游任务（二分类、多分类、多标签分类都可以修改）

ELMO-tf

ELMO : Deep contextualized word representations https://arxiv.org/abs/1802.05365

说明

参考 ELMO-tf,修改部分代码，适应于中文语料。 这位韩国小哥哥写的代码很清晰，相对于原始的实现，可读性好很多。原始的实现需要自行整理，搭建中文处理机制。

• 最原始的 ELMO 实现原理，请参考 Deep contextualized word representations

• 其他基于 ELMO 的chinese 版本实现，请访问 ELMO chinese.

word2vec

中文词向量：https://github.com/Embedding/Chinese-Word-Vectors 腾讯词向量：链接:https://pan.baidu.com/s/1meeKUBKbGMyTGrx664F4Ng 密码:xfh1

说明

执行word2vec目录下，word2vec_embedding.py文件即可。

该项目使用腾讯词向量进行 词向量、句向量的计算。

• 词向量（查表，没有就按字）
• 句向量（词性加权，词向量，最后求平均）

使用：

下载腾讯词向量，tencent_45000.txt 应该就可以了

其他

#!/usr/bin/env bash

# 重置git的方法，（第二步需要 修改，git add 最好手动确定下）
#1. Checkout
git checkout --orphan latest_branch
#2. Add all the files
git add -A
#3. Commit the changes
git commit -am "commit message"
#4. Delete the branch
git branch -D master
#5.Rename the current branch to master
git branch -m master
#6.Finally, force update your repository
git push -f origin master

embedding_study's Issues

Do you have any guideline for following up your project?

Hi there,Do you have any guideline for following up your project?

ELMO代码中的疑问，希望解答

感觉ELMO模型accuracy计算有点问题，详细情况见下图。

因为计算loss需要用到forward_output， 计算forward_pred需要用到forward_projection，因为argsoftmax需要从词表维度中选择最可能的词id，代码中是从elmo_hidden维度选择最可能的hidden id。

ELMo-data

数据可用分享一份吗

中文词向量训练的问题

你好，我用于测试的中文数据格式如下：

每行是一个已经分词的句子

word表的大小是9w，char表的大小是3600
ELMo的batch_size是128（原配置是1024，但是我机器不行，改成128了），其他不变，跑出来的结果是这样：

损失没啥问题，但是精度最高只有1点几。。。想问下这个是哪里的问题？

我按照你的代码写的是这样的：

另外，我现在训练好模型后，怎么获取到中文词向量呢？

万分感谢！

One problem about result

Hi, if I change the input into ["好难啊", "怎么办呢"], the result's shape is still (10,768).

I'd like to ask why I have result, thank you!

训练好的elmo模型文件有吗

very slow for bert

I tested the speed of this versus bert as a service to generate 1 sentence embeddings but this one is a lot slower, do you have suggestions to keep the model in memory or how speed this up?

如何返回句向量

这个输入多个词组成的句子，返回的是每个词向量，怎么返回句向量呢