網(wǎng)站文本數(shù)據(jù)采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)輿情監(jiān)測(cè)系統(tǒng)實(shí)時(shí)監(jiān)測(cè)網(wǎng)絡(luò)信息傳播，是新媒介發(fā)展的產(chǎn)物。輿情監(jiān)測(cè)讓用戶第一時(shí)間發(fā)現(xiàn)輿情，追蹤輿情，了解輿情發(fā)展，使預(yù)防違法犯罪成為可能。互聯(lián)網(wǎng)爬蟲(chóng)作為輿情監(jiān)測(cè)的一部分，很大程度上決定了輿情監(jiān)測(cè)的實(shí)時(shí)性。本文設(shè)計(jì)并實(shí)現(xiàn)了網(wǎng)站文本數(shù)據(jù)采集系統(tǒng)，通過(guò)用戶配置網(wǎng)站模板等相關(guān)信息，定制抓取目標(biāo)網(wǎng)站內(nèi)容，為輿情系統(tǒng)提供實(shí)時(shí)數(shù)據(jù)源。
　　本文設(shè)計(jì)的網(wǎng)站文本數(shù)據(jù)采集系統(tǒng)主要通過(guò)爬蟲(chóng)資源配置與監(jiān)控平臺(tái)和爬蟲(chóng)抓取信息平臺(tái)兩個(gè)子系統(tǒng)來(lái)實(shí)現(xiàn)對(duì)定制網(wǎng)站

2、內(nèi)容的抓取。爬蟲(chóng)資源配置與監(jiān)控平臺(tái)采用Struts2和Spring等JavaEE開(kāi)源開(kāi)發(fā)框架，利用系統(tǒng)分層結(jié)構(gòu)和模塊化設(shè)計(jì)，提高了系統(tǒng)開(kāi)發(fā)效率與可擴(kuò)展性。爬蟲(chóng)抓取信息平臺(tái)參考SourceForge開(kāi)源網(wǎng)絡(luò)爬蟲(chóng)Heritrix項(xiàng)目架構(gòu)，進(jìn)行了重新設(shè)計(jì)開(kāi)發(fā)，以適應(yīng)自身產(chǎn)品需要。爬蟲(chóng)資源配置與監(jiān)控平臺(tái)主要負(fù)責(zé)對(duì)待抓取的網(wǎng)站信息進(jìn)行配置，包括:站點(diǎn)、頻道、種子、模板等配置信息。另外平臺(tái)實(shí)現(xiàn)了對(duì)配置模板的測(cè)試功能，驗(yàn)證模板配置的準(zhǔn)確性。同時(shí)平臺(tái)提

3、供了爬蟲(chóng)抓取歷史動(dòng)態(tài)展示圖，方便用戶監(jiān)測(cè)后臺(tái)爬蟲(chóng)抓取數(shù)量。還可以導(dǎo)出模板錯(cuò)誤記錄，進(jìn)行錯(cuò)誤模板的修改。爬蟲(chóng)抓取信息平臺(tái)主要負(fù)責(zé)對(duì)配置網(wǎng)站信息的抓取，通過(guò)種子加載、網(wǎng)頁(yè)下載、網(wǎng)頁(yè)解析、存儲(chǔ)四步，實(shí)現(xiàn)對(duì)網(wǎng)頁(yè)內(nèi)容的采集。在系統(tǒng)設(shè)計(jì)和開(kāi)發(fā)過(guò)程中，作者參與并完成了以下五個(gè)方面的工作:
　　(1)搜集客戶需求，調(diào)查爬蟲(chóng)產(chǎn)品現(xiàn)狀，整理出本系統(tǒng)的整體需求與各模塊的功能需求。
　　(2)完成了系統(tǒng)總體架構(gòu)設(shè)計(jì)與功能模塊劃分。
　　(3)

4、根據(jù)各功能模塊劃分，進(jìn)行了各模塊功能解決方案的制定，根據(jù)方案，作者完成了網(wǎng)站信息配置管理、模板測(cè)試、抓取記錄狀態(tài)展示、爬蟲(chóng)種子獲取、HTML下載、模板解析、存儲(chǔ)等模塊的設(shè)計(jì)。
　　(4)作者根據(jù)具體設(shè)計(jì)，對(duì)各功能模塊進(jìn)行了編程實(shí)現(xiàn)。
　　(5)作者對(duì)重點(diǎn)開(kāi)發(fā)模塊進(jìn)行了功能測(cè)試，并對(duì)采集準(zhǔn)確度進(jìn)行了驗(yàn)證。
　　本系統(tǒng)作為內(nèi)部測(cè)試版本，可以滿足客戶基本需要，但仍舊未成為部門(mén)有競(jìng)爭(zhēng)力的產(chǎn)品。未來(lái)，需要在模板自動(dòng)化配置與爬蟲(chóng)采