zhengyima/ncov_sentiment

疫情期间网民情绪识别比赛baseline，使用BERT进行端到端的fine-tuning，datafountain平台，平台评测F1值0.716。

NCOV_Sentiment

NCOV_Sentiment Source Code

疫情期间网民情绪识别比赛baseline，使用BERT进行端到端的fine-tuning，平台评测F1值0.716。

很基础的基线，只用了labeled数据，没有利用unlabeled数据，没有调参。

Preinstallation

Before launch the script install these packages in your Python3 environment:

• tensorflow 1.11

建议使用Conda安装 :)

 conda create -n tf1.11 python=3.6 tensorflow=1.11 tensorflow-gpu=1.11
 conda activate tf1.11

下载Bert中文模型至本地，并更改bert/run.sh中的BERT_BASE_DIR路径。

在datafountain平台上下载数据，解压至本地目录。将数据由gbk转为utf-8编码(vscode或linux shell的iconv命令)

运行数据预处理脚本dataprocess/data_process.py，将数据处理成bert的输入格式。（注意更改代码中的输出路径，并保持输出路径与bert/run.sh中的NCOV_DIR路径一致。

 python dataprocess/data_process.py

更改bert/run.sh中的OUTPUT_DIR路径为模型及结果输出路径。

Launch the script

环境配好，模型下好之后便可以运行代码了！

 bash bert/run.sh

Links

• https://github.com/google-research/bert

ncov_sentiment's Issues

dataprocess中的gen_res代码文件问题

dataprocess中的gen_res代码文件中result.csv文件是哪里的哈
你代码中写的是读入这个文件，但是并没有这个文件啊

提示错误

我使用了一个gpu 2070s 但是最后提示错误
tensorflow.python.framework.errors_impl.ResourceExhaustedError: 2 root error(s) found.

查了下，说是因为我资源耗尽了
emmmm，想问下楼主，你用的gpu情况，你的这个代码，我跑不起来了，【捂脸，尴尬】

此外，那个gen_res.py文件是做什么的啊

非常感谢楼主分享

读取表格时出错，不知为何，一直不能正确返回7个值，试了很多中方法，想知道您的设置

出现“killed”是不是模型自己停下来的？

内存溢出

你好，我遇到了内存溢出问题，然后修改了batch_size就可以了，但是，要运行很久，想问下，你运行这个代码要运行多久才结束的哈，是不是运行完毕后，才可以产生test_result.tsv文件哈？

谢谢

区分train_set和dev_set的长度是不是写反了

data_process.py里的
train_end = int(len(train_list) * 1)
dev_end = int(len(train_list) * 0.9)
应该是
train_end = int(len(train_list) * 0.9)
dev_end = int(len(train_list) * 1)？