正在阅读《第四节 文本情绪分析》
第(1/9)页


基于前面讲述的分词及词向量技术,可以进行非常有用也更复杂的文本处理工作。这一节将讲述如何利用这些技术来实现文本情绪的识别。很多语句、新闻、台词、评论都带有某种情绪,如果能够理解文本中的这种情绪,不但是有趣的事情,而且也有重要的应用价值。例如,在电商购物网站上,有很多的评论数据,如果能够自动识别这些评论数据的情绪,对于顾客选择商品、商家推荐商品都是很有帮助的。

这是一个相对复杂的工作,作为本教材最后一个实际案例,将采用模块化的方式实现,包括用于训练情绪识别网络的训练模块和使用训练好的网络识别文本情绪的识别模块。这种模块化的编程方式把复杂的任务分解成几个相对简单的任务,流程和可读性更好,在实际工作中十分常见。

本节所使用的训练数据是从电商网站的评论区抓取的商品评论,可从教材资源平台下载。这些文本的情绪已经做了人工标注,被分成了正面评论和负面评论两类。首先通过深度学习,去学习这些评论中正面评论、负面评论的特征。学习完毕后就可以使用训练好的网络判断新的文本表达的情绪是正面还是负面。标注了情绪的数据包括10679条正面评论和10428条负面评论,以Excel表格文件分别存储,文件名分别是pos.xls和neg.xls。表9-2是从中截取的一部分样本。

表9-2

在训练模块中,首先需要使用训练好的词向量把训练数据(具有正负面情绪的文本)向量化,然后使用深度神经网络提取文本中的情绪特征,所用的网络结构中包括在自然语言理解中常用的长短时记忆结构(Long-Short-TermMemory,LSTM)。经过训练后的网络连接权值可以抽取出文本的情绪特征,使用它就可以识别新文本中的情绪了。

需要说明的是,由于训练适用于本任务的向量化词表需要使用内容相符并且规模较大的语料库,所以在教材资源平台提供了训练好的词向量模型,下载后可以直接使用。感兴趣的读者可以自己抓取文本,建立合适的语料库训练自己的词向量。虽然上一节已经介绍过具体的训练方法,为方便起见,本节最后也提供了适用于这个案例的词向量训练模块。

首先给出训练模块的程序,代码的含义请阅读代码中的注释。

#导入所需的模块

importsys

#用来分隔训练集和检测集

fromsklearn.cross_validationimporttrain_test_split

#使用多个进程进行计算

importmultiprocessing

importnumpyasnp

#使用词向量

.word2vecimportWord2Vec

#使用序贯模型

#将要用到的网络类型

,Dropout,Activation

importjieba

importpandasaspd

(1337)#指定随机种子,保证结果可复制

(1000000)

#设置参数

vocab_dim=100 #词向量的维数

maxlen=100

n_iterations=1

n_exposures=10 #出现频率低于10次的词会被忽略

window_size=10 #词向量考虑的上下文最大长度

batch_size=30

n_epoch=10

input_length=100

cpu_count=multiprocessing.cpu_count()

#并行cpu的数量可设置为cpu核心数

#定义加载训练文件并对数据格式进行处理的函数,以备使用

defloadfile():

pos=pd.read_excel('',header=None,index=None)

neg=pd.read_excel('',header=None,index=None)

combined=((pos[0],neg[0]))

相关小说

宠妻狂魔:爹地,妈咪是我的 青春 / 完结
宠妻狂魔:爹地,妈咪是我的
一笔旧梦
惨遭妹妹陷害,她和陌生男人有了一夜情,五年后回归,却被腹黑又软萌的小娃娃被缠上。介绍一下,这是我爸,我觉得你们非常般配。总裁一脸冷酷将结婚证丢到了她面前,你已经是我的合法妻子了。什么情况?捡娃娃还带买一送一的?
203.18万字 3 年前
至尊魔妃,废柴大小姐 青春 / 完结
至尊魔妃,废柴大小姐
玖阑夜大人
她,是濮氏家族的濮四爷,打架找场子样样齐活。 她,潘家的废柴小姐,寄人篱下,受尽欺凌,样样占尽。 当她变成了她,功法仙器在手,宝贝丹药齐活。 敢算计她? 阴谋诡计,勾心斗角,全是她当年玩剩下的! 她定要让那些欺负她的人百倍偿还! 他,冷面仙君,修为超群,九重天门仙君之首,天帝都得给上几分薄面。 世人皆道他无心,偏偏他却认准了她,宠她入骨。 为渡她成仙,甘愿散去半生修为……
68.91万字 3 年前
顾先生,离婚吧! 青春 / 完结
顾先生,离婚吧!
冬菇家的猫
五年前,她被自己的丈夫陷害失身,家破人亡;为了报仇,她一人流落异国他乡,尝尽辛酸;四年后,她华丽回归,当名扬全城的美女设计师,碰上昔日里的前夫,又会擦出什么样的火花?
67.01万字 3 年前
嫡女重生,朕的皇后总想逃 都市 / 完结
嫡女重生,朕的皇后总想逃
涅凰
一朝眼瞎,一生凄苦,重活一世的沈姝誓要擦亮眼,防火防盗防渣男!渣男贱女,断她手脚筋,杀她长子,害她长女,毁她幼女!呵,这一桩桩,她都要同他们清算!渣男妄想攀附权贵?那就让他身败名裂!贱女阴毒?那就撕了她的美人皮!一心只有仇恨的她却无意间招惹到了一个了...
98.25万字 8 天前
农门冲喜小娘子 玄幻 / 完结
农门冲喜小娘子
笑猫嫣然
农门冲喜小娘子,相亲对像是初恋?呆了! 一口茶水没顺下去,嗝屁了。 再睁眼,床上躺着病歪歪的相公,她成冲喜娘子了? 屋子是借的,米缸是空的,地里长满荒草!!这到底是个什么情况?!! 床,只有一张?!被子,只有一条?! 白天伺候相公吃喝,晚上伺...
140.12万字 8 天前
星铁:重生成猫被符玄偷听心声 穿越 / 完结
星铁:重生成猫被符玄偷听心声
小太阳mt
++++琉光穿越到了的世界,但是本体却是一只流浪猫,并且还觉醒了一个好感度系统。该系统的作用是,让靠近琉光的人,都会对琉光产生好感。于是,第一个遇到琉光的符玄,一眼就喜欢上了这只圆滚滚、可爱的小猫,并将其带回了太卜司。但之后,符玄便发现,自己居然可以听见这小猫心里所想?!琉光:哎嘿嘿!符玄老婆今天又用她香香的、滑滑
158.16万字 5 天前