頁(yè)面數(shù)據(jù)過(guò)濾技術(shù)研究與應(yīng)用.pdf

1、互聯(lián)網(wǎng)頁(yè)面數(shù)量的膨脹使得從海量頁(yè)面中獲取有用信息變得非常重要。然而，網(wǎng)頁(yè)包含的大量噪音信息（廣告、版權(quán)信息、導(dǎo)航信息等）給搜索引擎為頁(yè)面建立索引帶來(lái)了很大的干擾。這種對(duì)頁(yè)面噪音凈化的迫切需求，使得頁(yè)面數(shù)據(jù)過(guò)濾技術(shù)成為研究的熱點(diǎn)。
　　頁(yè)面數(shù)據(jù)過(guò)濾技術(shù)旨在對(duì)網(wǎng)頁(yè)中的充斥的大量與正文無(wú)關(guān)的且重復(fù)性高的噪音信息進(jìn)行識(shí)別，提取網(wǎng)頁(yè)中的主題相關(guān)內(nèi)容。目前已有很多學(xué)者根據(jù)網(wǎng)絡(luò)頁(yè)面特點(diǎn)提出各種頁(yè)面數(shù)據(jù)的凈化方法。本文深入分析了各種頁(yè)面凈化方法的

2、優(yōu)缺點(diǎn)和適用性，指出了現(xiàn)有的頁(yè)面凈化方法缺少對(duì)網(wǎng)頁(yè)的布局特征和視覺(jué)描述信息的充分利用等問(wèn)題，并且針對(duì)現(xiàn)代主流商業(yè)網(wǎng)站基于“DIV+CSS”的頁(yè)面設(shè)計(jì)風(fēng)格，總結(jié)出頁(yè)面中同一div塊中的內(nèi)容具有同樣的語(yǔ)義特征，提出了DIV_FOREST網(wǎng)頁(yè)表示模型，并結(jié)合基于視覺(jué)特征的VIPS算法，提出了綜合考慮布局特征和視覺(jué)特征的DVPS網(wǎng)頁(yè)分塊算法。
　　在網(wǎng)頁(yè)分塊的基礎(chǔ)上，本文對(duì)各數(shù)據(jù)塊的空間位置、語(yǔ)義特征和視覺(jué)表現(xiàn)特征進(jìn)行提取、分析和量化表示

3、。給出了網(wǎng)頁(yè)數(shù)據(jù)塊是主題塊或者噪音塊的評(píng)判標(biāo)準(zhǔn)。至此，實(shí)現(xiàn)了應(yīng)用DVPS算法進(jìn)行頁(yè)面數(shù)據(jù)過(guò)濾的過(guò)程。然后，論文對(duì)新提出的DVPS算法與前人提出的VIPS算法在頁(yè)面過(guò)濾效果上做出比較，仿真結(jié)果證明，該算法在處理“CSS+DIV”類(lèi)型的頁(yè)面時(shí)，表現(xiàn)出了預(yù)期的優(yōu)勢(shì)。最后，本文在之前頁(yè)面數(shù)據(jù)過(guò)濾工作的基礎(chǔ)上，將凈化后的頁(yè)面作為網(wǎng)頁(yè)分類(lèi)器的輸入頁(yè)面，通過(guò)分類(lèi)效果的評(píng)估來(lái)評(píng)判網(wǎng)頁(yè)凈化算法的效果。實(shí)驗(yàn)結(jié)果證明了本文提出的網(wǎng)頁(yè)塊劃分模型和頁(yè)面數(shù)據(jù)過(guò)濾方