面向網(wǎng)絡(luò)輿情監(jiān)測的關(guān)鍵技術(shù)研究.pdf

1、隨著Web2.0技術(shù)的不斷發(fā)展和Web終端的迅速普及,越來越多的民眾開始參與到網(wǎng)上的交流活動中來,互聯(lián)網(wǎng)已逐漸成為了輿情產(chǎn)生和傳播的重要場所。網(wǎng)絡(luò)輿情監(jiān)測系統(tǒng)不僅可以減少各級政府部門在網(wǎng)絡(luò)輿情監(jiān)測方面的人力和物力方面的投入,還能提升網(wǎng)絡(luò)輿情監(jiān)測的效果。
　　 由于互聯(lián)網(wǎng)的開放性和虛擬性,互聯(lián)網(wǎng)輿情具有自由、傳播迅速和隱蔽等特點(diǎn),這使得傳統(tǒng)的信息檢索技術(shù)很難直接應(yīng)用到網(wǎng)絡(luò)輿情監(jiān)測系統(tǒng)中來。本文通過深入研究網(wǎng)絡(luò)輿情監(jiān)測相關(guān)技術(shù),提出

2、網(wǎng)絡(luò)輿情監(jiān)測系統(tǒng)的框架。并圍繞著論壇爬蟲這一關(guān)鍵技術(shù),通過對論壇網(wǎng)站的結(jié)構(gòu)特點(diǎn)的分析,構(gòu)建論壇網(wǎng)站的層次模型,實(shí)現(xiàn)對不同論壇網(wǎng)站的抓取。本文的主要成果可歸納為以下幾個方面:
　　 本文在深入研究信息檢索、自然語言處理和文本挖掘等網(wǎng)絡(luò)輿情監(jiān)測相關(guān)技術(shù)的基礎(chǔ)上,設(shè)計一個網(wǎng)絡(luò)輿情監(jiān)測系統(tǒng)框架?；谠摽蚣?本文最終在分布式基礎(chǔ)架構(gòu)Hadoop上實(shí)現(xiàn)了一個網(wǎng)絡(luò)輿情監(jiān)測原型系統(tǒng)。針對網(wǎng)絡(luò)輿情信息分布不同類型網(wǎng)站的情況,使用多種信息采集的方式