WEB代理系統(tǒng)網頁噪音信息識別與過濾技術研究.pdf

1、隨著 Internet技術日新月異飛速發(fā)展，互聯(lián)網上信息數(shù)量也在急劇增長。目前很多自動化應用能夠幫助我們從互聯(lián)網上的海量數(shù)據(jù)中提取出我們所需的內容，可是網頁信息不僅包含網頁本身的主題信息，往往還包含導航條、網頁廣告鏈接信息及相關推薦這類與主題并不相關的內容，即噪音信息。這些信息不僅影響用戶的閱讀體驗，而且可能造成網頁主題偏移，影響數(shù)據(jù)挖掘和搜索的速度與準確率。因此，研究和實現(xiàn)高效、實用的web網頁中廣告等噪音信息的過濾技術無論是在數(shù)據(jù)挖

2、掘及web信息檢索方面，還是在提高用戶閱讀體驗方面，都具有相當重要的意義。網頁的語言形式和語法等特性都與傳統(tǒng)的語言相比存在很大的區(qū)別，因此網頁噪音信息過濾技術更加繁雜，需要考慮的因素也更多并且更具挑戰(zhàn)性。
　　本文基于以上背景，提出了一種新的基于視覺屬性分析的網頁噪音信息識別與過濾算法。本文首先對目前主流的網頁去除噪音方法進行分類并進行了分析研究。接著分析研究了具有代表性的各大門戶網站的新聞網頁中噪音信息的特點，并在此基礎上提出了

3、基于網頁視覺屬性與內容規(guī)則的噪音識別算法。該方法首先對網頁文檔中注釋等無用信息進行過濾，并將文檔構建成特殊的基于網頁視覺屬性分析的文檔對象模型WVP_DOM樹，接著劃分樹中的塊結點信息確定最可能出現(xiàn)噪音信息的區(qū)域，跟據(jù)區(qū)域中的標點符號及超鏈接正文比，進一步判斷該塊是噪音塊還是主題塊。然后為保證網頁噪音信息準確過濾并不影響用戶的閱讀，本文提出基于樹結構相似性的網頁不變形噪音過濾算法。該方法主要思想是在網頁轉化成的WVP_DOM樹形結構中濾