基于Web文本信息抽取的微博輿情分析.pdf

1、據(jù)中國互聯(lián)網(wǎng)絡(luò)信息中心(CNNIC)發(fā)布的統(tǒng)計數(shù)據(jù),截止到2012年12月,中國微博用戶總量已達3.09億。微博所具有的裂變式傳播模式、多元化傳播終端、低門檻、高互動性等諸多優(yōu)勢,使其成為網(wǎng)絡(luò)輿論的重要發(fā)源地。來自中國傳媒大學網(wǎng)絡(luò)輿情(口碑)研究所2011年7月發(fā)布的輿情指數(shù)顯示,微博已成為僅次于新聞媒體報道的中國第二大輿情源頭,在輿論導(dǎo)向中正在扮演著越來越重要的角色。如何及時獲取微博輿情信息,了解輿情現(xiàn)狀,預(yù)測輿情走勢,從而因勢利導(dǎo)、

2、趨利除弊,已經(jīng)成為輿情研究的一個重要的新課題。
　　論文從這一背景出發(fā),研究了利用Web信息抽取技術(shù)處理微博數(shù)據(jù)、進行輿情分析的方法。首先針對微博文本的特點,利用Heritrix主題網(wǎng)絡(luò)爬蟲采集微博頁面,并以鏡像網(wǎng)頁的形式進行存儲。再結(jié)合HTML標簽的嵌套特性,為采集到的網(wǎng)頁構(gòu)建起適合訪問的DOM樹結(jié)構(gòu)。對于微博文本形式自由、語言不規(guī)范的情況,提出對文本中包含的標點符號、表情符號、停用詞、非登錄詞等利用人工標注和借助網(wǎng)絡(luò)語料庫處理

3、相結(jié)合的方式進行規(guī)范化處理的方法。在中文分詞和詞性標注階段,將NLPIR漢語分詞和R語言Rwordseg分詞兩種方式進行了比較?？紤]到微博文本內(nèi)容短,聚類時易產(chǎn)生數(shù)據(jù)稀疏問題,文中提出了采用LDA模型表示微博文本,對比了基于劃分的聚類方法和基于層次的聚類方法的優(yōu)點與不足,提出了一種k-means聚類與層次聚類相結(jié)合的算法。在輿情分析階段,采用基于2-POS模型方法進行主客觀文本分類,利用CRFs方法結(jié)合情感詞自身規(guī)律和上下文信息等進行情