基于多特征的HTML網頁內容提取的研究.pdf

1、網頁內往往包含豐富而不同的內容，可以分為主題相關內容和主題不相關內容，識別出主題相關內容應用于網頁檢索，分類等，可以很大程度上節(jié)約空間以及提高這些應用的性能。此方面的研究已經有很多，也取得了很大的成果，其中研究較多和應用較廣的是利用分塊思想：首先將網頁看作是由多個分離的聚集塊組成，然后識別并取得需要的主題相關內容，即主題信息塊。識別并提取網頁主題相關內容的這一過程稱為網頁內容提取。網頁內容提取對Web中的Hub型網頁和主題型網頁有不同的

2、含義，對前者是找到該網頁中非噪音內容的主要鏈接：對后者是發(fā)現(xiàn)描述網頁主題內容的文本以及相關鏈接。本文的研究主要著眼于以下幾個方面： 首先，本文研究介紹了網頁的類型劃分以及分析了幾種較為有效的劃分網頁類型的算法，并在此基礎上提出了一種改進的網頁類型劃分的方法。這種改進的算法分為兩個階段。首先利用VIPS算法將網頁劃分為一個個的信息塊，然后分別判斷每一塊的類型，并根據這些信息塊中是否存在一個滿足要求的主題型信息塊來判斷網頁的類型。實

3、驗結果表明該方法能準確的劃分出網頁的類型，正確率達到98.6％。 其次，本文總結了以往網頁內容提取的各種方法，在此基礎上，提出了一種新的網頁內容提取算法，該算法在網頁分塊的基礎上，分析每一塊的特征，得到了主題信息塊的多個特征。并利用概率論對這些特征進行量化，得到每個特征與信息塊為主題內容的一個對應的概率關系，最后綜合信息塊的所有特征計算得到這個信息塊是主題內容的總的概率，通過將這個概率與閾值的比較來判斷信息塊的性質。通過實驗可以

4、明顯地看到新算法有效地提取了網頁的主題內容，并優(yōu)于其它同類算法。 最后，本文給出了兩個具體的網頁內容提取的應用：Hidden Web分類和Web檢索。在Hidden Web分類中，通過應用本文提出的新的網頁內容提取算法得到Hidden Web的文本描述信息，并將其作為一個分類影響因素，從而明顯的提高了分類的效果。在Web檢索中，本文用新的網頁內容提取算法提取網頁主題內容，對實驗集建立索引，進行檢索，并與同類方法進行比較，實驗結果