「基于深度学习的自然语言处理」首期课程入学挑战 #2的问题

[JIANG09]

「基于深度学习的自然语言处理」首期课程入学挑战 #2的问题

[Jhangsy]

第二个任务主要考察两个东西：

• 构建二元次组
• 统计词频

这里就将二元词组视为 连续的两个词 所构成的词组，构建的方法为：

• 词表中取出一个词 w1,
• 取出其后的一个词 w2，
• 组成词组 ‘’w1, w2‘

统计词频可以考虑使用 collections.Counter .

[gunuo]

我上不去github，公司电脑不能用git指令，我把代码写在这里了。抱歉。 # -*- coding: utf-8 -*- """ Created on Fri Feb 24 10:42:36 2017 @author: gunuo """ # 导入常用的包 import pandas as pd import numpy as np import jieba import os # 设置路径 homedir = os.getcwd() os.chdir(homedir) # 读取数据 data = open('happiness_seg.txt').read() # 处理空格与段落 data=data.replace('\n','') data=data.replace('\r','') data=data.replace(' ','') data=data.replace('\u3000','') # 分句 def cut_sentence(words): #words = (words).decode('utf8') 如果是从编码为 utf8 的 txt 文本中直接输入的话，需要先把文本解码成 unicode 来处理 start = 0 i = 0 #记录每个字符的位置 sents = [] punt_list = ',.!?:;~，。！？：；～' #string 必须要解码为 unicode 才能进行匹配 for word in words: if word in punt_list: sents.append(words[start:i+1]) start = i + 1 #start标记到下一句的开头 i += 1 else: i += 1 #若不是标点符号，则字符位置继续前移 if start < len(words): sents.append(words[start:]) #这是为了处理文本末尾没有标点符号的情况 return sents csen=cut_sentence(data) # 使用结巴分词 cpsen=pd.DataFrame(csen) cpsen['fenci']=cpsen[0].apply(lambda x:list(jieba.cut(x,cut_all=False))) # 发现双叠词 def doublefind(aa): doublesen=[] for k in range(len(aa)): print(aa[k]) if len(aa[k])==2 and len(aa[k+1])==2: doublesen.append([aa[k],aa[k+1]]) return doublesen cpsen['double']=cpsen['fenci'].apply(lambda x:doublefind(x)) # 提取双叠词 rr=[] for jj in range(len(cpsen)): for ii,tt in enumerate(cpsen.double[jj]): rr.append(tt) # 统计双叠词 rr=pd.DataFrame(rr) rr['hebing']=rr[0]+rr[1] rr.hebing.value_counts() 思路是这样的，因为分词分的不好，所以先把原文重新合并，然后用常用的句子间隔切分句子。接着再用jieba分词来分词。分完词后再计算二元词语。 但是还是没有解决文章重复的问题。而且我也没整成nltk。还是用的pandas库。 完成的完了。 也不知道大家收的到收不到。 在 2017-02-23 20:54:04，"Jhang" <[email protected]> 写道： 第二个任务主要考察两个东西： 构建二元次组 统计词频 这里就将二元词组视为 连续的两个词 所构成的词组，构建的方法为： 词表中取出一个词 w1, 取出其后的一个词 w2， 组成词组 ‘’w1, w2‘ 统计词频可以考虑使用 collections.Counter . — You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub, or mute the thread.