網(wǎng)絡(luò)輿情爬蟲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來隨著網(wǎng)絡(luò)越來越發(fā)達(dá)，普及率越來越高，每天、每時(shí)、每分、每秒產(chǎn)生在互聯(lián)網(wǎng)上的數(shù)據(jù)數(shù)以億計(jì)。這些數(shù)據(jù)涉及到生活、科技、軍事等等各個(gè)領(lǐng)域，方方面面。這些數(shù)據(jù)有正面的，有負(fù)面的。對(duì)于很多企業(yè)、單位來說，一個(gè)負(fù)面信息特別是一個(gè)不真實(shí)的負(fù)面信息的廣泛傳播可能會(huì)影響公司股價(jià)，影響公司形象，對(duì)公司、單位的公信度都會(huì)有很大的影響。如何在如此復(fù)雜的網(wǎng)絡(luò)世界中盡快發(fā)現(xiàn)這些負(fù)面信息以及不利于公司、個(gè)人的網(wǎng)絡(luò)言論就成為了關(guān)注的焦點(diǎn)。本系統(tǒng)的目的是為了更好的

2、服務(wù)大眾，使公司、企業(yè)、個(gè)人用戶能夠盡快發(fā)現(xiàn)對(duì)其不利的負(fù)面消息，將負(fù)面信息扼殺在搖籃中，損失降到最低。
　　本文針對(duì)用戶迫切希望盡早在網(wǎng)絡(luò)中發(fā)現(xiàn)負(fù)面信息的需求，設(shè)計(jì)并實(shí)現(xiàn)了一套網(wǎng)絡(luò)輿情爬蟲系統(tǒng)，系統(tǒng)涵蓋如下功能:
　　1、網(wǎng)頁下載與信息過濾:系統(tǒng)采用基于關(guān)鍵詞的定向爬取的方式從眾多數(shù)據(jù)源獲取大量HTML網(wǎng)頁信息。并將已經(jīng)存在的頁面信息過濾掉。
　　2、關(guān)鍵內(nèi)容抽取:采用基于ontology的抽取方式和基于HTML頁面結(jié)

3、構(gòu)抽取方式相結(jié)合的方法針對(duì)下載得到的網(wǎng)頁抽取關(guān)鍵信息。
　　3、數(shù)據(jù)更新與存儲(chǔ):采用改進(jìn)的泊松過程預(yù)測(cè)算法和固定爬取時(shí)間相結(jié)合的方式對(duì)數(shù)據(jù)源網(wǎng)頁信息進(jìn)行更新;使用MongoDB構(gòu)建的分片集群數(shù)據(jù)庫平臺(tái)作為系統(tǒng)數(shù)據(jù)的持久化存儲(chǔ)平臺(tái)。
　　4、任務(wù)隊(duì)列與爬蟲狀態(tài)監(jiān)控:使用構(gòu)建的任務(wù)隊(duì)列系統(tǒng)管理和控制爬蟲模塊的任務(wù)狀態(tài)。使用HOSTED GRAPHITE對(duì)系統(tǒng)的運(yùn)行狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控。
　　本項(xiàng)目的研究和實(shí)現(xiàn)，極大程度上滿足了