基于搜索引擎的網(wǎng)頁主題內(nèi)容提取的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著因特網(wǎng)的迅猛發(fā)展,當(dāng)前網(wǎng)絡(luò)信息量的爆炸性增長,為了更加準(zhǔn)確快捷的獲取所需信息,人們越來越多的是依賴于網(wǎng)頁搜索引擎平臺(tái)。而當(dāng)前搜索引擎多以提交關(guān)鍵字來進(jìn)行檢索,查詢結(jié)果與人們實(shí)際想得到數(shù)據(jù)的相關(guān)性較低,導(dǎo)致獲取到的有效信息源很少。這種現(xiàn)象發(fā)生的原因之一是搜索引擎系統(tǒng)所選擇的索引文件過大,而其中很多信息與檢索關(guān)鍵字的相關(guān)性很小,或者包括的信息質(zhì)量不高。因此需要對網(wǎng)頁主要內(nèi)容進(jìn)行抽取,從而提高搜索引擎的準(zhǔn)確度和效率。
　　本文的研究

2、與設(shè)計(jì)是根據(jù)盤古搜索引擎的研發(fā)所提出的需求來進(jìn)行的,主要工作是實(shí)現(xiàn)搜索引擎系統(tǒng)中的對網(wǎng)頁頁面的處理,對搜索引擎爬蟲模塊爬取的網(wǎng)頁做主題內(nèi)容提取。本文首先探討了國內(nèi)外對網(wǎng)頁主題內(nèi)容提取的研究方法與現(xiàn)有技術(shù),根據(jù)盤古搜索引擎平臺(tái)需求,設(shè)計(jì)并實(shí)現(xiàn)了基于搜索引擎的網(wǎng)頁主題內(nèi)容提取方法。
　　在本論文的設(shè)計(jì)中,針對目前各大網(wǎng)站網(wǎng)頁文檔格式不統(tǒng)一的問題,本文為提取HTML特征,設(shè)計(jì)與實(shí)現(xiàn)基于HTMLParser解析器的頁面獲取模塊;針對網(wǎng)頁形

3、式的多樣化和個(gè)性化,通常位置不固定、顏色多樣等因素,本文利用此類視覺信息設(shè)計(jì)和實(shí)現(xiàn)了基于以上網(wǎng)頁視覺特征的頁面解析模塊,為實(shí)現(xiàn)網(wǎng)頁的分塊與內(nèi)容的提取做準(zhǔn)備;為了提高搜索引擎的準(zhǔn)確度和效率,本文引入網(wǎng)頁分塊思想,設(shè)計(jì)并實(shí)現(xiàn)了網(wǎng)頁分塊與標(biāo)注模塊,對給定網(wǎng)頁先行分塊,并標(biāo)注各個(gè)分塊,將主題相關(guān)的塊合并為子文檔,以此作為搜索引擎系統(tǒng)建立索引的源文件,搜索引擎返還給用戶搜索的結(jié)果將更加準(zhǔn)確。為了將網(wǎng)頁主題內(nèi)容提取的結(jié)果展現(xiàn)出來,本文還設(shè)計(jì)了存儲(chǔ)輸