集成網頁質量特征的垃圾網頁檢測特征模型及模型驗證.pdf

1、垃圾網頁檢測特征模型一直比較關注網頁的內容和鏈接特征，很少關注網頁本身的質量問題?；ヂ?lián)網的開放性決定了網頁的質量參差不齊，有的網頁并不包含傳統(tǒng)垃圾網頁的特征或信息，但這類“劣質”網頁向我們提供少之又少的有用信息，卻無法從傳統(tǒng)的垃圾網頁檢測方法中得到有效的檢測。本文綜合了以往垃圾網頁檢測特征模型，提出網頁質量特征，建立一個可結合網頁質量的綜合垃圾網頁檢測特征模型。
　　文中涉及對模型的驗證，需要從實際的網頁中構建出符合模型的實驗數(shù)據

2、集。文中從互聯(lián)網上爬取網頁，經過提取內容、特征提取以及人工標注，得到帶標注的網頁特征數(shù)據集;同時，文中需要用有效的排序驗證方法對模型的有效性進行驗證。從眾多的文檔排序以及分類算法中，選取RankBoost算法對網頁的質量進行排序，通過對排名的分析，檢測出垃圾網頁。根據RankBoost算法的思想，綜合多個弱排序算法的結果，得出準確率較高的排序結果。文中將網頁之間的排序轉換為樣本對(pairwise)之間的排序，通過基本的分類算法，便可以