基于語義理解與PLSA的文本情感分類研究.pdf

1、近年來,隨著電子商務,個人博客,社交網(wǎng)站和微博的蓬勃發(fā)展,互聯(lián)網(wǎng)進入了一個嶄新的時代,廣大用戶有了發(fā)表自己意見的空間,帶有主觀色彩的言論和評價隨之鋪天蓋地而來。這些海量的非結構化文本包含了大量的信息,企業(yè)需要從中獲得用戶對產品的意見,政府需要知道群眾對某項政策的反映,而用戶在消費前想得到更多的建議,如何處理這些信息從而獲得我們想要的知識,成為當前學者們關注的焦點。情感分類是隨之興起的一個研究領域,它是指通過挖掘和分析文本中的立場、觀點、

2、情緒等主觀信息,對文本的情感傾向做出類別判斷,將其分為正面(positive)或負面(negative)。文本情感分類可以應用到輿論分析、信息過濾、產品評價、產品推薦、智能化搜索和用戶興趣發(fā)掘等方面。本文的主要研究內容包括以下幾個方面:首先,本文建立了一個跨領域的語料庫,并在知網(wǎng)情感詞匯的基礎上,加入未登錄詞的情感計算,構建了一個較為詳細的情感詞典。未登錄詞的情感計算采用基于知網(wǎng)的語義相似度計算方法,之后在詞匯傾向分析的基礎上進行文本情

3、感分類;然后,提出了基于概率潛在語義分析(ProbabilisticLatentSemanticAnalysis,PLSA)的情感分類方法,該方法使用概率模型表示“文檔-潛在語義-詞”三者之間的關系,文檔和詞都可以映射到同一個語義空間中,較好地解決了多義詞和同義詞的現(xiàn)象,使用EM算法進行迭代求解,可以大大降低時間和空間復雜度。基于語義理解的方法效率較高,但適應性較差,每個領域都有各自的表述情感詞,且同樣的情感詞在不同的分類領域褒貶性也不

4、盡相同,另外,在漢語中,人們常常使用消極情感的間接表達(IndirectExpressionofNegativeSentiment,IENS)或“反語”修辭手法來表達負面情感,因此,基于語義理解的分類更傾向于將文本劃分到正面類別當中;另一方面,基于PLSA的方法需要大量的人工標注文本集,訓練和分類時間都較長,但適用范圍較廣,由于正面詞和負面詞在消極態(tài)度的文本中出現(xiàn)頻率都比較高,所以PLSA方法更容易學習消極的情感表達。本文針對兩種方法各