Web Spam特征分析及其檢測技術(shù)研究.pdf

1、在當(dāng)前全球信息化年代，人們可以通過 Internet網(wǎng)相互通信聯(lián)系，獲取信息。在過去的幾十年里，Internet網(wǎng)發(fā)展迅速，互聯(lián)網(wǎng)的普及更加快了新知識新思想的傳播。但同時，垃圾網(wǎng)頁也逐漸出現(xiàn)了，并嚴(yán)重降低了搜索引擎的搜索質(zhì)量。垃圾網(wǎng)頁能誤導(dǎo)搜索引擎，導(dǎo)致垃圾網(wǎng)頁在搜索結(jié)果中比正常網(wǎng)頁排名靠前。因當(dāng)今越來越多的人習(xí)慣于從互聯(lián)網(wǎng)上搜索信息，而Internet網(wǎng)的快速發(fā)展則使得垃圾網(wǎng)頁引起的后果越來越嚴(yán)重。
　　一般地，在搜索結(jié)果中越是

2、排在前面的網(wǎng)站，就意味著它的重要程度越高，也就能吸引到更多的用戶訪問它，因此給它帶來的商業(yè)利潤也越大。通常,人們只會看搜索結(jié)果的前十幾項，而忽略后面的。因此，垃圾網(wǎng)頁制作者出于經(jīng)濟或商業(yè)利益，采用各種各樣的不正當(dāng)手段欺騙搜索引擎，達到在搜索結(jié)果中排序靠前，從而獲取較高點擊率的目的。這種行為稱作“web spamming”，即網(wǎng)頁作弊。這種為獲取某種利益欺騙搜索引擎，破壞其排序結(jié)果，把自身不重要或與查詢不相關(guān)的網(wǎng)頁排在前面的網(wǎng)頁稱為垃圾網(wǎng)

3、頁（Web Spam）。
　　近些年來，Web spamming已逐漸成為困擾搜索引擎的嚴(yán)重問題，它使垃圾網(wǎng)頁排在某些正常網(wǎng)頁前面，騙取用戶點擊，嚴(yán)重干擾用戶獲取信息。這在很大程度上破壞搜索質(zhì)量，降低用戶對搜索引擎的信任度。一方面，它浪費了人們大量的上網(wǎng)查詢時間；另一方面，它也浪費了搜索引擎大量的時空計算資源。垃圾網(wǎng)頁的出現(xiàn)給搜索引擎帶來了巨大的挑戰(zhàn)，也給專家學(xué)者們提出了新的研究課題：如何檢測或降級垃圾網(wǎng)頁。
　　目前，垃圾

4、網(wǎng)頁分為三大類：基于內(nèi)容的垃圾網(wǎng)頁（content spam）、基于鏈接的垃圾網(wǎng)頁（link spam）及隱藏方式（cloaking）的垃圾網(wǎng)頁。對于這三類垃圾網(wǎng)頁，國內(nèi)外專家學(xué)者陸續(xù)提出了許多降級或檢測的方法。
　　由于垃圾網(wǎng)頁欺騙搜索引擎，給人們的查詢帶來諸多的麻煩，因此需要采用降級或檢測垃圾網(wǎng)頁的方法。目前，一項檢測或降級垃圾網(wǎng)頁的最成功技術(shù)是垃圾網(wǎng)頁和正常網(wǎng)頁的特征取值是不同的，而且國際上研究成果極少。作者發(fā)現(xiàn)無論是內(nèi)容特

5、征還是鏈接特征，垃圾網(wǎng)頁和正常網(wǎng)頁都表現(xiàn)出明顯不同的統(tǒng)計特性，因此首次在這個方面做了全面詳細(xì)的研究工作。本文對網(wǎng)頁的內(nèi)容特征和鏈接特征做了深入細(xì)致的分析和研究，發(fā)現(xiàn)垃圾網(wǎng)頁和正常網(wǎng)頁的特征存在顯著差異。這寫些差異性可作為垃圾網(wǎng)頁檢測和降級的輔助信息。還有，作者對網(wǎng)頁排序算法做了深入的研究，并提出改進方法。著名的基于鏈接的網(wǎng)頁排序算法PageRank算法和TrustRank算法為搜索引擎提供了網(wǎng)頁排序依據(jù)，但網(wǎng)頁是按網(wǎng)絡(luò)正向鏈接單向計分。

6、作者在 TrustRank算法基礎(chǔ)上，提出利用雙向信息反饋機制計算網(wǎng)頁分?jǐn)?shù)。大量實驗數(shù)據(jù)表明，具有雙向信息反饋機制的網(wǎng)頁排序算法能取得令人滿意的結(jié)果，且優(yōu)于PageRank算法和TrustRank算法。
　　本文的具體研究內(nèi)容和主要貢獻包括以下三個方面。
　　1、網(wǎng)頁內(nèi)容特征及其相關(guān)性分析
　　本文全面地研究了正常網(wǎng)頁和垃圾網(wǎng)頁的單個內(nèi)容特征和含多個相關(guān)聯(lián)子特征的內(nèi)容特征簇，作者得出的結(jié)論是：正常網(wǎng)頁的內(nèi)容特征和垃圾網(wǎng)

7、頁的內(nèi)容特征的確存在很大的差異。
　　作者探索了所有網(wǎng)頁的內(nèi)容特征，發(fā)現(xiàn)正常網(wǎng)頁的單個內(nèi)容特征包括：網(wǎng)頁單個內(nèi)容特征即網(wǎng)頁單詞數(shù)量、網(wǎng)頁標(biāo)題單詞數(shù)量、平均單詞長度、錨文本所占比例、可見文本所占比例及網(wǎng)頁壓縮率都具有較強的規(guī)律性，在一定范圍內(nèi)大體與通用概率分布一致，而垃圾網(wǎng)頁則不然，垃圾網(wǎng)頁的單個內(nèi)容特征則幾乎沒有規(guī)律可循。實驗表明，正常網(wǎng)頁的制作是規(guī)范的、合理的；而垃圾網(wǎng)頁的創(chuàng)建者為了提高網(wǎng)頁排名而隨心所欲地制作垃圾網(wǎng)頁，造成了垃

8、圾網(wǎng)頁內(nèi)容特征的不規(guī)律性。
　　作者還提出了網(wǎng)頁的內(nèi)容特征簇中子特征之間相關(guān)度包括網(wǎng)頁n-連詞分布熵和n-連詞獨立測度的相關(guān)度；含多個相關(guān)子特征的內(nèi)容特征簇即語料庫準(zhǔn)確率、語料庫召回率、查詢準(zhǔn)確率、查詢召回率四個特征簇中子特征的相關(guān)度的計算公式，并做了相關(guān)實驗。內(nèi)容特征簇中子特征之間的相關(guān)度的實驗表明：垃圾網(wǎng)頁的語料庫準(zhǔn)確率和語料庫召回率高于正常網(wǎng)頁，說明垃圾網(wǎng)頁在制作時特意使用了大量的流行詞，而正常網(wǎng)頁在制作時并沒有刻意使用流行

9、詞；而垃圾網(wǎng)頁的查詢準(zhǔn)確率遠遠低于正常網(wǎng)頁，其查詢召回率也低于正常網(wǎng)頁，說明垃圾網(wǎng)頁在很大程度上影響了搜索引擎的搜索質(zhì)量，極大地降低了查詢準(zhǔn)確率，浪費了用戶大量的查詢時間。
　　本文對網(wǎng)頁的內(nèi)容特征作了全面詳細(xì)的分析。研究結(jié)果表明，無論是單個內(nèi)容特征，還是內(nèi)容特征簇中子特征之間相關(guān)度，正常網(wǎng)頁和垃圾網(wǎng)頁都有很大的差別。這項研究旨在為垃圾網(wǎng)頁的降級和檢測提供幫助。
　　2、網(wǎng)頁鏈接特征研究
　　本文對網(wǎng)頁的單個鏈接特征和

10、鏈接特征組做了深入的研究，發(fā)現(xiàn)正常網(wǎng)頁和垃圾網(wǎng)頁的鏈接特征存在明顯的差異。
　　通常，垃圾網(wǎng)頁eq_hp_mp取值為1的比例高于正常網(wǎng)頁。正常網(wǎng)頁的單個鏈接特征包括 assortativity_hp(/mp)、 avgin_of_out_hp(/mp)、 avgout_of_in_hp(/mp)、indegree_hp(/mp)、 outdegree_hp(/mp)、 pagerank_hp(/mp)、 prsigma_hp(/m

11、p)和trustrank_hp(/mp)都在某置信區(qū)間內(nèi)與某通用概率分布近似一致（除了reciprocity_hp(/mp)），而垃圾網(wǎng)頁則不然。垃圾網(wǎng)頁的單個鏈接特征反映出垃圾網(wǎng)頁制作者隨意采用多種手段增加網(wǎng)頁入鏈接，提高自身網(wǎng)頁的排序結(jié)果，而造成網(wǎng)絡(luò)鏈接結(jié)構(gòu)改變。所有這些方法都導(dǎo)致了垃圾網(wǎng)頁鏈接特征的不規(guī)律性。
　　垃圾網(wǎng)頁的鏈接特征組（包括neighbors組、siteneighbors組和truncatedpagerank

12、組）的統(tǒng)計結(jié)果則顯示出正常網(wǎng)頁與鏈接網(wǎng)頁的同次子特征及由此計算出的網(wǎng)頁和主機前驅(qū)增長率是有很大不同的。這反映出在實際的網(wǎng)絡(luò)鏈接圖中，與正常網(wǎng)頁相比，由垃圾網(wǎng)頁組成的子網(wǎng)是在某種程度上較獨立于整個網(wǎng)絡(luò)的，且垃圾網(wǎng)頁依仗其前驅(qū)網(wǎng)頁提高自身PageRank值的程度高于正常網(wǎng)頁。對鏈接特征組的研究同樣反映出正常網(wǎng)頁和垃圾網(wǎng)頁的鏈接結(jié)構(gòu)是不同的。
　　本文對網(wǎng)頁的鏈接特征作了全面詳細(xì)的分析。研究結(jié)果表明，無論是單個鏈接特征，還是鏈接特征組，

13、正常網(wǎng)頁和垃圾網(wǎng)頁都存在差別。這項研究旨在為垃圾網(wǎng)頁的降級和檢測提供幫助。
　　3、提出有向網(wǎng)絡(luò)鏈接圖中建立雙向趨勢信息反饋的垃圾網(wǎng)頁檢測算法
　　本文在 TrustRank算法基礎(chǔ)上，提出了基于網(wǎng)絡(luò)鏈接結(jié)構(gòu)的具有雙向趨勢信息反饋機制的網(wǎng)頁排序算法。算法假設(shè)網(wǎng)絡(luò)中的每個網(wǎng)頁都具備兩面性：趨向正常網(wǎng)頁的正面和趨向垃圾網(wǎng)頁的反面，因此每個網(wǎng)頁都被賦予正分和負(fù)分。該算法在網(wǎng)絡(luò)有向鏈接圖上建立雙向趨勢信息反饋機制，提出采用雙向趨勢信

14、息函數(shù)得出的反饋信息對網(wǎng)頁評分，并給出了相應(yīng)排序算法用于檢測或降級垃圾網(wǎng)頁。算法中每次循環(huán)都會在整個網(wǎng)絡(luò)中根據(jù)雙向趨勢信息更新網(wǎng)頁的正分和負(fù)分，當(dāng)算法收斂時網(wǎng)頁的得分趨于穩(wěn)定，最終得到了每個網(wǎng)頁的得分。大量實驗數(shù)據(jù)表明，該算法用于檢測或降級垃圾網(wǎng)頁的效果優(yōu)于 PageRank算法和TrustRank算法，能得到令人滿意的結(jié)果。
　　總之，因垃圾網(wǎng)頁干擾搜索引擎，降低查詢準(zhǔn)確率，因此迫切需要檢測或降級垃圾網(wǎng)頁。本文主要研究Web S