基于云計(jì)算的微博輿情監(jiān)控系統(tǒng)研究.pdf

1、目前，社會(huì)中的很多熱點(diǎn)話(huà)題往往都是從微博開(kāi)始傳播，如何從微博中發(fā)現(xiàn)熱點(diǎn)話(huà)題并對(duì)熱點(diǎn)話(huà)題做輿情分析，是非常有現(xiàn)實(shí)意義的工作。本文針對(duì)微博輿情的特點(diǎn)，研究了微博輿情監(jiān)控系統(tǒng)的實(shí)現(xiàn)方法。介紹Hadoop平臺(tái)處理大數(shù)據(jù)的優(yōu)勢(shì)和原理，實(shí)現(xiàn)了數(shù)據(jù)采集、文本模型表示、話(huà)題發(fā)現(xiàn)以及輿情分析的功能。本文的主要工作和研究?jī)?nèi)容如下：
　　第一，本文在數(shù)據(jù)采集模塊采用新浪微博API和網(wǎng)絡(luò)爬蟲(chóng)技術(shù)相結(jié)合實(shí)現(xiàn)微博數(shù)據(jù)采集?；谖⒉崴言~檢索實(shí)現(xiàn)相關(guān)微博的定位

2、，能夠在短時(shí)間內(nèi)獲取大量領(lǐng)域相關(guān)的微博數(shù)據(jù)。
　　第二，在熱點(diǎn)話(huà)題發(fā)現(xiàn)方法的改進(jìn)上，采用了基于新詞發(fā)現(xiàn)的微博文本主題發(fā)現(xiàn)方法，將其分為三個(gè)步驟：中文分詞、LDA主題建模、主題聚類(lèi)。在中文分詞環(huán)節(jié)，加入了新詞發(fā)現(xiàn)模塊，提高了分詞準(zhǔn)確率。在建立文本模型時(shí)，采用LDA主題模型，提高了話(huà)題發(fā)現(xiàn)的準(zhǔn)確率。
　　第三，為了提高LDA建模的準(zhǔn)確度，在構(gòu)建文本模型前加入文本分類(lèi)模塊，解決了原有的話(huà)題發(fā)現(xiàn)方法在應(yīng)用于微博文本時(shí)精度不高以及將同