k-oul/keras_bert_classification

keras for text classification with bert features.

基于bert特征的keras文本分类（接LSTM/GRU/FC）

#0. ready

将bert预训练模型（chinese_L-12_H-768_A-12）放到当前目录下，下载地址：https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip

#1. bert_fc.py

抽取bert句向量特征，接全连接层。 训练命令：python bert_fc.py

#2. bert_lstm.py

抽取bert字向量特征，后面接LSTM/GRU和全连接层。 训练命令：python bert_lstm.py

#3. 结果对比

分类任务：微博情感分析

训练样本: 25000条

测试样本：5000条

textcnn accuracy: 93.6%

bert_fc accuracy: 94.2%

bert_lstm accuracy: 96.8%

#4. TODO

bert-DSSM

Reference

https://github.com/google-research/bert