brokenwind / bertsimilarity Goto Github PK

View Code? Open in Web Editor NEW

483.0 7.0 70.0 2.83 MB

Computing similarity of two sentences with google's BERT algorithm。利用Bert计算句子相似度。语义相似度计算。文本相似度计算。

Python 99.14% Shell 0.86%

bert semantic nlp similarity python tensorflow

bertsimilarity's People

Contributors

Stargazers

Watchers

Forkers

wsp317 johndpope sduchh kxlshitou yuan7180 chenny0808 starymz ghbtest qianrenjian tfdetang anatanick liuwq168 xyyhcl naive-cuimei xkungfu codeapeman zhanghao0810 zhang-shui-shui flxuru skywindy jiniaoxu shan6333 china-challengehub surmount1 bert-for-gd kira231 sijunx seatonsun thuamo ishine leahyu0 tjudoubi wilfoderek alphaarking zjp78 gaobingbing2019 yuzhang112 liguiming77 nicemartin shaowen-open chunyu226 skinny-joey greatmichael01 zhaoxuangithub zhuifeng414 spunk166 aka-zyq daiyizheng tiffen xiaolan-lin zhengguowei tamanna18 jamon96 kingking888 feihuamantian echo719 techthiyanes yuconggen 2290445195 shinoharaharuna elypha ajunlonglive fengjixuchui0001028 shannsheeran sunzhongguan linshijiao172 startgis zhongziqi realmanhw 12345ssdlh-12345

bertsimilarity's Issues

训练卡在Saving checkpoints for 0 ，请问什么原因？

INFO:tensorflow:Saving checkpoints for 0 into ...../model.ckpt.
I1107 14:10:38.075445 140053106304832 basic_session_run_hooks.py:606] Saving checkpoints for 0 into ....../model.ckpt.

到这就停了。
Top命令，也没找到python的进程。
4核cpu. ubuntu18.04.
有什么解决办法么？

similarity.py注释

您好，请问可以在百忙之中将similarity.py文件中的各个步骤尽可能详细的加一些注释吗，都知道是干什么的，数据维度什么的，有助于学习与理解。万分感谢抱拳

使用tf 2.5运行报错
ValueError: Tensor-typed variable initializers must either be wrapped in an init_scope or callable (e.g., tf.Variable(lambda : tf.truncated_normal([10, 40]))) when building functions. Please file a feature request if this restriction inconveniences you.

similarity

下载作者训练好的模型做预测，同样的测试案例，相似度却很低

请问大佬，如何进行训练数据？

我通过网盘中的数据，已经跑通了程序。现在想用自己的数据训练，应该怎么训练呢？
@Brokenwind

请问最终预测的输出是相似度百分数还是二分类标签0和1

您好，请问使用的是gpu还是cpu训练的，能设置吗，在哪里设置呢

请问预测的相似度和不相似度的百分数具体是怎么计算出来的，最后一层的处理步骤能说下吗

训练结果下载访问遭到拒绝

predict返回值能说明下吗？

在预测两个短文本相似度时，每次输入一对短文本，预测结果非常准确。但是存在一个性能问题:预测一对短文本需要花费大约5-8秒，时间太久。然后请问该如何优化代码呢？

调用代码如下
`sim.set_mode(tf.estimator.ModeKeys.PREDICT)

predict_start_time = datetime.now()

predict = sim.predict(text_1, text_2)

predict_end_time = datetime.now()

print("预测predict花费时间：", (predict_end_time - predict_start_time).total_seconds())

score = predict[0][1]

response["score"] = str(score)
response["words"] = request_body
print('TextSimilarity time used: {} sec'.format((datetime.now() - start).total_seconds()))`

实际结果如下：
INFO:tensorflow:tokens: [CLS] 借呗逾期短信通知 [SEP] 如何购买花呗短信通知 [SEP]
INFO:tensorflow:input_ids: 101 955 1446 6874 3309 4764 928 6858 4761 102 1963 862 6579 743 5709 1446 4764 928 6858 4761 102 0 0 0 0 0 0 0 0 0 0 0
INFO:tensorflow:input_mask: 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0
INFO:tensorflow:segment_ids: 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0
INFO:tensorflow:label: 0 (id = 0)
预测predict花费时间： 0:00:07.576646
TextSimilarity time used: 8.100247 sec