yongzhuo/nlp_xiaojiang

自然语言处理（nlp），小姜机器人（闲聊检索式chatbot），BERT句向量-相似度（Sentence Similarity），XLNET句向量-相似度（text xlnet embedding），文本分类（Text classification）， 实体提取（ner，bert+bilstm+crf），数据增强（text augment, data enhance），同义句同义词生成，句子主干提取（mainpart），中文汉语短文本相似度，文本特征工程，keras-http-service调用

nlp_xiaojiang's Issues

translate_tencent_secret

请问，回译里面的app_key 和app_secret 分别指的是什么，是账号和密码吗

NER问题咨询

欧美和**经济怎么样
['O', 'B-LOC', 'I-LOC', 'O', 'B-LOC', 'I-LOC', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O']

为什么预测结果第一位一直是 ‘O’?

还有keras_bert_ner_bi_lstm.py，最后一层是CRF吧？因为你的READ.me上面写了：- layer_crf_bojone.py(CRF层, 未使用)，让我有点迷惑

期待并感谢你的回复！！！

回译中文本丢失

您好，我输入的句子为："此外，李奇霖还认为，MLF期限是6个月，逆回购是7天，考虑到外汇占款流出的是长期限流动性，因此，无论哪一种货币投放模式都无法替代降准，降准的期限理论上是“无穷期”的。从资金利率看，MLF资金利率在3.35%，比起降准释放的“无成本”流动性仍然偏高，经济下行压力之下，实体能提供的高收益资产有限，较高的资金利率能否缓解外汇占款对信用派生的收缩作用，也是有疑虑的。“等汇率端稍见稳定后，我们能看到降准的出现，幅度约为100BP，时点预计在9月上旬。" 输出变成了“此外，李其林还认为MLF期限为6个月，反向回购期为7天。”

没有数据网址 如1.txt

translate_google.py

你好，我这边运行这个文件，报了这个错：ConnectResetError:远程主机强迫关闭了一个现有连接。
是怎么回事啊。

should delete the 'not'

nlp_xiaojiang/AugmentText/augment_eda/enhance_eda_v2.py

Line 60 in d4a9414

word_syn = word_syn if not word_syn else [word]

NER部分 keras backend出错

Traceback (most recent call last):
File "/home/l/Dwyane/NLP-pack/nlp_xiaojiang/Ner/bert/keras_bert_ner_bi_lstm.py", line 343, in
train()
File "/home/l/Dwyane/NLP-pack/nlp_xiaojiang/Ner/bert/keras_bert_ner_bi_lstm.py", line 297, in train
bert_model = BertNerBiLstmModel()
File "/home/l/Dwyane/NLP-pack/nlp_xiaojiang/Ner/bert/keras_bert_ner_bi_lstm.py", line 65, in init
self.build_model_bilstm_layers()
File "/home/l/Dwyane/NLP-pack/nlp_xiaojiang/Ner/bert/keras_bert_ner_bi_lstm.py", line 138, in build_model_bilstm_layers
output_layers = crf(dense_layer)
File "/home/l/.local/lib/python3.6/site-packages/keras/engine/base_layer.py", line 451, in call
output = self.call(inputs, **kwargs)
File "/home/l/Dwyane/NLP-pack/nlp_xiaojiang/Ner/bert/keras_bert_layer.py", line 481, in call
test_output = self.viterbi_decoding(X, mask)
File "/home/l/Dwyane/NLP-pack/nlp_xiaojiang/Ner/bert/keras_bert_layer.py", line 776, in viterbi_decoding
input_length=K.int_shape(X)[1], unroll=self.unroll)
File "/home/l/.local/lib/python3.6/site-packages/keras/backend/tensorflow_backend.py", line 3188, in rnn
output, _ = step_function(inputs[0], initial_states + constants)
File "/home/l/Dwyane/NLP-pack/nlp_xiaojiang/Ner/bert/keras_bert_layer.py", line 769, in find_path
next_best_idx = gather_each_row(argmin_table, best_idx[0][:, 0])
File "/home/l/Dwyane/NLP-pack/nlp_xiaojiang/Ner/bert/keras_bert_layer.py", line 765, in gather_each_row
indices = K.transpose(K.stack([K.tf.range(n), indices]))
AttributeError: module 'keras.backend' has no attribute 'tf'

IndexError: list index out of range

本人小白一枚。运行你的代码后。提示 output_tensors[i]._keras_shape = output_shapes[i]。 IndexError: list index out of range
tensorflow 1.14
keras 2.2.5
python 3.6

如何运行

代码很精彩，对初学者非常友好。感谢作者。
一个疑问，我该如何运行代码呢？
我下载代码后按照说明执行后，然后进入nlp_xiaojiang-master\ClassificationText\bert里面，
执行python keras_bert_classify_bi_lstm.py
报错找不到ModuleNotFoundError: No module named 'conf.path_config' 。我看了代码目录结构，是因为因为bert这个文件夹下没有conf文件夹。conf文件夹在最外层。这个问题如何解决呢？是不是执行代码位置不对？

。

should delete the 'not' ,,and be like this 'if len(word_syn[0]) else [word]', because the output of the nearby(word) is a tuple include 2 lists

nlp_xiaojiang/AugmentText/augment_eda/enhance_eda_v2.py

Line 60 in d4a9414

word_syn = word_syn if not word_syn else [word]

RuntimeWarning: invalid value encountered in true_divide matrix_org_norm = (matrix_org / np.sqrt((matrix_org ** 2).sum(-1))[..., np.newaxis]).astype(numpy_type)

run chatbot_sentence_vec_by_word.py 这个文件后，会报出警示:RuntimeWarning: invalid value encountered in true_divide matrix_org_norm = (matrix_org / np.sqrt((matrix_org ** 2).sum(-1))[..., np.newaxis]).astype(numpy_type)
且输入不同的字符得到相同的答案，是不是most_similar_sentence_vec这个函数有问题呢。

'Node' object has no attribute 'output_masks'

您好，感谢分享您的项目。
我在尝试运行./FeatrureProject/bert/extract_keras_bert_feature，初始化KerasBertVector遇到了报错：'Node' object has no attribute 'output_masks'，查询网上的方案是将tensorflow 和 keras的layer统一，请问具体应该在哪里修改，解决这个问题，感谢

请问哪里可以下载“ td_idf_cut_dictionary_model.pkl”这个模块呢？

from conf.augment_constant import language_short_tencent

from conf.augment_constant import language_short_tencent 这个包在哪儿下载？