yuhongho/paper_notes

paper_notes's Issues

待看的知识点（重要）

add和concatenate的区别https://blog.csdn.net/u012193416/article/details/79479935
即增加每一维的信息和增加特征（信息）维度的区别

LSTM和双向LSTM多看几遍https://blog.csdn.net/fendouaini/article/details/80198994

EM算法http://www2.stat.duke.edu/~rcs46/linkage_readings/em_tutorial.pdf

热点疑问（经常思考）

self-attention(也属于transformer的内容) 是将内容信息和位置信息结合起来，

向模型提供更多的先验知识——未来热点

RNN与transformer（块的概念）的结合

怎么知道模型到底学到了句子的什么东西：句子长度，句法结构

【论文写法】A‚entive Collaborative Filtering Multimedia Recommendation with Item- and Component-Level Attention

(Chen et al., SIGIR 2017) A�entive Collaborative Filtering Multimedia Recommendation with Item- and Component-Level Attention

老师对论文的分析，学习方法

（以此论文为例：(Deena et al., INTERSPEECH 2017) Semi-supervised Adaptation of RNNLMs by Fine-tuning with Domain-specific Auxiliary Features）

(1)（这里的[3]和[17]都是同类顶会的论文，分别是14和16年的）

(2)提出4种方法：

• [ 其中，第一种相当于430：]
  

• [另外三种值得看看： ]
  

• [stacking： ]
  

• [ Extra Perceptron：]
  

• [Feature Sub-network： ]
  

(3)他们选了第四种，并对为什么不选其他三种做了简要交代：

(4)本文的贡献：在LM，RNNLM，Feature-based RNNLM，以及里边的具体化的Feature Sub-network的方法的基础上做的：

(5)实验看了一下，不是太明确他们PK谁：P 貌似他们做的是一个新的半监督的方法。迟点细看一下。

在论文中如何定位到前沿工作的介绍

靠的是引言和相关工作：（以此论文为例：(Deena et al., INTERSPEECH 2017) Semi-supervised Adaptation of RNNLMs by Fine-tuning with Domain-specific Auxiliary Features）

（1）引言概述技术进展并指出要解决的问题（存在的困难或者有时也会是技术挑战）：

这段之后，评审和读者都可以很清楚地明白问题所在，以及论文的技术定位： 采用主流技术Feature-based RNNLM，并考虑特征怎么取得。

（2）第二章（2. Background and Related Work）具体展开上述提到的“采用主流技术Feature-based RNNLM”：LM->RNNLM->Feature-based RNNLM->Feature Sub-network 的Feature-based RNNLM。

（3）第三章（3. Semi-supervised Adaptation Methods）具体介绍采用了什么半监督自适应方法去取得有一定获取难度的特征：

关于论文的pk对象

自己维持一个自己的方案以及PK对象的结果列表。

PK对象可以适当有所选择。比如培松那边目前没有用额外知识，则可以考虑选择性排除一些“对手”，比如比赛的前几名属于open的（外加资源不明），又比如意图识别的研究进展中在ATIS数据集有用slot filling和intent联合训练的，都可以适当排除掉不PK。

给个例子：在做 对话行为识别（也是一种分类，不过不是intent，而是DA），Tran 有两篇论文是这么处理的：
1、（用于去除采用了词向量作为输入，他们表2 PK的都没用词向量）：

2、（用于去掉PK不过的一个文献，这个文献也没用词向量，但宣称达到77%，而他们重现对方方法只取得72.5%）

在数学上成熟指的是什么

在数学上成熟（即熟练掌握概率论，统计学，线性代数，优化和微积分）。测试自己的一种方法是仔细阅读最近在ICML / NIPS / AAAI / IJCAI会议上发表的一些最佳ML论文，看看你是否能完全理解那些论文中主要方程式的详细数学表达。