文本傾向性分析中的情感詞典構建技術研究.pdf

1、隨著計算機與網(wǎng)絡技術的迅猛發(fā)展，Internet已經(jīng)成為現(xiàn)代主要的信息載體，網(wǎng)絡在線文檔也成為人們?nèi)粘Ｉ钪胁豢苫蛉钡闹饕畔碓?。而隨著互聯(lián)網(wǎng)進入Web2.0時代，Internet又逐步地從靜態(tài)的信息載體變成人們表達意見、交流情感的平臺，人們通過各種途徑，以各種方式表達自身對于各種事物的意見、看法：新聞評論、產(chǎn)品評論、情感博客等。這些觀點性內(nèi)容對于網(wǎng)絡電子商務、網(wǎng)絡社區(qū)發(fā)現(xiàn)、網(wǎng)絡信息安全、網(wǎng)絡信息檢索等多方面都具有重要的意義和實用價值

2、。面對如此海量的富含情感信息的文本，亟待找到一種快速的自動分析方法對這些網(wǎng)絡文本進行處理。對網(wǎng)絡文本觀點性內(nèi)容的自動情感分析成為近期web信息處理的一個研究熱點，而其中的核心技術就是文本傾向性分析。情感詞典構建是文本傾向性分析的基礎。本文以高質量的情感詞典構建算法作為研究目標，著重對以下幾個方面進行了深入的研究：
　　首先，介紹了文本傾向性分析研究的背景，分析了文本傾向性分析及情感詞典構建所面臨的挑戰(zhàn)；然后分析了當前文本傾向性分析

3、及情感詞典構建技術的研究現(xiàn)狀；最后進一步明確了研究情感詞典構建算法的意義和必要性。
　　為了減少通用情感詞典構建算法對于基準詞的依賴，提出了基于函數(shù)優(yōu)化的通用詞典構建方法。目前多數(shù)通用情感詞典構建方法根據(jù)語氣待定詞語與之前人工進行語氣標注的基準詞之間的局部信息來確定語氣待定詞語的語氣傾向。這樣導致了兩方面的問題：①由于對于語氣待定詞語與測試集中所有詞語之間的全局信息利用不充分，致使算法準確率仍存在提高空間；②該方法對領域專家的依賴

4、較強，對基準詞的選擇和數(shù)量較為敏感。針對該問題，本文從圖劃分的角度提出基于函數(shù)優(yōu)化的通用情感詞典構建方法，該方法將通用情感詞典構建問題轉化為函數(shù)優(yōu)化問題，并利用模擬退火算法進行求解。
　　為了解決基于圖劃分方法在某些應用場景中易于陷入局部極值的問題，提出了基于詞語聚團性的通用詞典構建方法。在利用函數(shù)優(yōu)化求解圖分解問題的算法中，多數(shù)以“最小切分”作為切分的目標。但當子圖大小和數(shù)目不固定時，采用“最小切分”策略的目標函數(shù)在求解過程易于

5、陷入局部極值：即傾向于把所有節(jié)點劃入一個子圖，而使的另外的子圖中的節(jié)點數(shù)目為零。針對該問題，本文采用復雜網(wǎng)絡社區(qū)發(fā)現(xiàn)中的基于Modularity優(yōu)化的方法來構建通用情感詞典。本文對于傳統(tǒng)Modularity方法的改進在于，只比較所有二分情況下的Modularity值并進行優(yōu)化，這樣既使得Modularity方法能夠適用于本問題，又極大的降低了運算量。
　　為了解決情感詞典的領域移植問題，提出了基于擴展信息瓶頸的領域詞典構建方法。領

6、域情感詞典被廣泛應用于細粒度的文本傾向性分析中，自動構建領域情感詞典文本傾向性分析研究中一個重要且基礎的工作?，F(xiàn)有的構建算法只考慮了新舊領域之間詞語的關系，算法準確率仍存在提升空間。針對該問題，本文對傳統(tǒng)信息瓶頸聚類方法進行改進，通過充分利用源領域與目標領域的情感詞與文檔之間的相互關系，來建立目標領域的領域情感詞典。
　　最后，設計并實現(xiàn)了一個細粒度的產(chǎn)品屬性挖掘系統(tǒng)。在該系統(tǒng)中，通過利用產(chǎn)品屬性和評論語氣詞之間的互相推薦，可以實