基于当前repo 优化后，A/B 榜皆是Top1，代码整理中，后续会陆续放上来！
贝壳找房-房产行业聊天问答匹配， 比赛地址https://www.datafountain.cn/competitions/474/datasets
总结博客：ccf问答匹配
样本为一个问题多个回答，其中回答有的是针对问题的回答（1），也有不是的（0），其中回答是按顺序排列的。即： query1: [(answer1, 0), (answer2, 1),...] 任务是对每个回答进行分类，判断是不是针对问题的回答。
预训练模型使用的是华为开源的nezha-base-wwm
不考虑回答之间的顺序关系，将其拆为query-answer 对，然后进行判断。 比如现在的样本是: {query: "房子几年了", answers: [("二年了", 1), ("楼层靠中间"， 0)]},此时我们将其拆分为单个query-answer pair，即： [{query: "房子几年了", answer: "二年了", label: 1}, {query: "房子几年了", answer: "楼层靠中间", label: 0}]
代码实现：pair_match
单模型提交f1: 0.752
考虑对话连贯性，同时考虑其完整性，将所有回答顺序拼接后再与问题拼接，组成query-answer1-answer2，然后针对每句回答进行分类。 上面的例子将被组成样本：{query: "房子几年了", answer: "两年了[SEP]楼层靠中间[SEP]", label: [mask, mask, mask, 0, mask, mask, mask,mask,mask, 0]} 即：将每句回答后面的[SEP] 作为最终的特征向量，然后去做二分类。
代码实现：match_point
单模型提交f1: 0.75
Pattern-Exploiting Training(PET)，即增加一个pattern，将任务转换为MLM任务，然后通过pattern的得分来判断对应的类别。 如本次样本可以添加一个前缀pattern："简接回答问题"/"直接回答问题"，分别对应label 0/1,pattern的得分只需看第一个位置中"间"/"直" 两个token的概率谁高即可。 此外，训练时还可以借助bert的预训练任务中的mlm任务增强模型的泛化能力。更详细的请介绍请查阅文本分类秒解
对于本次样本，对应的示意图如下：
对应代码实现：pet classification
单模型提交f1: 0.76+
由于bert 不同的transformer 层提取到的语义粒度不同，而不同粒度的信息对分类来说起到的作用也不同，所以可以concat所以粒度的语义信息，拼接后作为特征进行分类。
对应于本次样本，示意图如下：
对应代码实现：concat classification 单模型提交f1: 0.75+
贴几篇感觉有启发的关于文本分类的论文
- Universal Language Model Fine-tuning for Text Classification
- How to Fine-Tune BERT for Text Classification?
- Don't Stop Pretraining: Adapt Language Models to Domains and Tasks
- Enriching BERT with Knowledge Graph Embeddings for Document Classification
- Hate Speech Detection and Racial Bias Mitigation in Social Media based on BERT model
React
Typescript
Django
Laravel
Facebook
Microsoft
Google
Alibaba
D3
Tencent