cdj0311/keras_bert_classification

Bert-classification and bert-dssm implementation with keras.

基于bert特征的文本分类与dssm语义表示

#0. ready

将bert预训练模型（chinese_L-12_H-768_A-12）放到当前目录下，下载地址：https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip

#1. bert_fc.py

抽取bert句向量特征，接全连接层。 训练命令：python bert_fc.py

#2. bert_lstm.py

抽取bert字向量特征，后面接LSTM/GRU和全连接层。 训练命令：python bert_lstm.py

#3. bert_dssm.py

先将文本转换为bert句向量存在tfrecord中，这一步自行处理即可， 然后从tfrecord中读取数据，数据格式为feed_dict = {"query":[[1,2,3], [4,6,7]], "doc": [[1,2,3], [4,6,7]]}

#4. 基于bert微调DSSM向量

新增bert_dssm_finetune，基于bert微调的DSSM向量，使用https://github.com/CyberZHG/keras-bert 获取CLS向量然后接一层全连接。 data目录下有1000条样本数据，格式为：标题\t内容

Reference

https://github.com/google-research/bert

https://github.com/CyberZHG/keras-bert

keras_bert_classification's Issues

您运行的环境都是哪个版本 我直接运行代码出现错误

有关正例的构造，是取了平均么？

RT，感觉是拿某个query下所有样本，取了平均做正例?

关于 keras_bert 的版本

请问下 fine-tune DSSM 中 keras_bert 的版本是什么呢？对应的 TensorFlow 是多少版本的呢？

老哥这个吗直接取句向量，没有做finetune啊

麻烦问下bert_dssm用的是什么数据跑的呢

doc应该是多个doc共享一组参数吧?

我改了一个版本，主要是输入的时候一个query下有一个正例和4个负例，用代码中的网络结构，发现预测的时候无论样本是什么样的，第一个样本永远是正例。
请问跟网络结构实现有关系，导致第一个网络的权重特别大？应该共享一个网络会不会变好?

你好，运行code的报错，module!=nullptr

F tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:847 check failed:module!=nullptr,
请问这个您遇到过吗?

How to solve the problem, can you help me, thanks

ValueError: Could not find trained model in model_dir: /tmp/tmpm1esrcbf.

您好，对这个方法encode(self, sentence)不是很理解

您好，这个方法encode(self, sentence)是如何将对应的文本转换成此对应的词向量的？是如何变化的呢？
我理解的是这个方法只是简单的将这个文本放入队列，然后再取出来，这期间没有发生变化的呀
def encode(self, sentence):
self.input_queue.put(sentence)
prediction = self.output_queue.get()
return prediction

GPU训练

您好，请问想使用ＧＰＵ训练，参数怎么修改，我改动过import_tf 中的参数，但是仍然不行

关于Bert+DSSM

请问有关于BERT+DSSM的代码吗