htfhxx/nlp-beginner_solution

复旦大学邱锡鹏老师推荐的nlp-beginner项目的实现代码

nlp-beginner_solution's Issues

第一个任务为什么要用TF-IDF?

N-gram文本表示方法似乎和TF-IDF并无太大关系。

。

task2的dataset失效了

不知道是不是因为时效的原因, task2 的 dataset 和文件名不完全匹配, 可以修改一下

在我把文件名改成 train.tsv 和 test.tsv 之后

运行这段代码的时候

#构建词典，字符映射到embedding
#TEXT.vocab.vectors 就是词向量
TEXT.build_vocab(train_data,  vectors= 'glove.6B.50d',   #可以提前下载好
                 unk_init= lambda x:torch.nn.init.uniform_(x, a=-0.25, b=0.25))
LABEL.build_vocab(train_data)


#得到索引，PAD_TOKEN='<pad>'
PAD_INDEX = TEXT.vocab.stoi[PAD_TOKEN]
TEXT.vocab.vectors[PAD_INDEX] = 0.0

colab上提示这个

---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-58-88fe1b0b4be6> in <module>()
      3 
      4 TEXT.build_vocab(train_data, vectors= 'glove.6B.50d',   #可以提前下载好
----> 5                  unk_init= lambda x:torch.nn.init.uniform_(x, a=-0.25, b=0.25))
      6 LABEL.build_vocab(train_data)
      7 

1 frames
/usr/local/lib/python3.7/dist-packages/torchtext/legacy/data/field.py in build_vocab(self, *args, **kwargs)
    290                 sources.append(arg)
    291         for data in sources:
--> 292             for x in data:
    293                 if not self.sequential:
    294                     x = [x]

/usr/local/lib/python3.7/dist-packages/torchtext/legacy/data/dataset.py in __getattr__(self, attr)
    152         if attr in self.fields:
    153             for x in self.examples:
--> 154                 yield getattr(x, attr)
    155 
    156     @classmethod

AttributeError: 'Example' object has no attribute 'Phrase'

不知道是什么原因