基于Jsoup的通用網(wǎng)頁采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著計(jì)算機(jī)網(wǎng)絡(luò)的迅速發(fā)展,Internet已經(jīng)成為一個(gè)巨大的信息資源庫。在WEB海量信息處理的背景下，WEB智能信息檢索、文檔自動(dòng)摘要、輿情分析等等需求應(yīng)運(yùn)而生。這些需求都是對(duì)互聯(lián)網(wǎng)中海量的WEB頁面的采集及分析的過程。通常情況下,這類技術(shù)都是通過網(wǎng)絡(luò)爬蟲來從網(wǎng)絡(luò)上抓取原始網(wǎng)頁的信息,而原始信息中除了用戶所感興趣的正文信息之外,還通常會(huì)包含有各種網(wǎng)絡(luò)噪音數(shù)據(jù),比如廣告鏈接、標(biāo)簽信息、導(dǎo)航鏈接、評(píng)論等等。這些噪音數(shù)據(jù)的存在,極大地影響了網(wǎng)

2、絡(luò)檢索的效率,也降低了人們的閱讀效率。正確、高效地在半結(jié)構(gòu)化、異構(gòu)性強(qiáng)的HTML源文件中提取到文章正文，在基于互聯(lián)網(wǎng)的數(shù)據(jù)挖掘、信息檢索等領(lǐng)域具有著重要的意義。
　　本文描述了基于停止詞以及鏈接稠密度的父節(jié)點(diǎn)加權(quán)比值算法通用的網(wǎng)頁正文提取系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。該算法基于Jsoup文檔解析技術(shù)，通過對(duì)停止詞分析、鏈接稠密度分析技術(shù)對(duì)網(wǎng)頁進(jìn)行二次信息節(jié)點(diǎn)篩選后，采用父節(jié)點(diǎn)加權(quán)比值方法得到最優(yōu)內(nèi)容子樹。
　　本系統(tǒng)采用B/S（瀏覽器/