排序?qū)W習中的中文網(wǎng)頁特征提取方法.pdf

1、已有已有的搜索引擎的排序技術(shù)經(jīng)歷了兩代的發(fā)展。第一代搜索引擎是基于詞頻和位置的統(tǒng)計排序，如Infoseek，Excite，Lycos等。然而詞頻統(tǒng)計有很多的不足，它沒有利用跟網(wǎng)頁鏈接有關(guān)的特性，如鏈接和錨文本等，而且許多網(wǎng)頁內(nèi)容的制作者為了能夠排在搜索結(jié)果的前幾位，在其頁面上堆砌關(guān)鍵詞來影響搜索引擎的判斷。第二代搜索引擎是基于鏈接分析的排序，如百度的超鏈分析和Google的PageRank都屬于鏈接分析排序技術(shù)。為了在搜索引擎上得到第一

2、或首頁顯示，網(wǎng)站常常使用增加鏈接，互相之間交換鏈接或者設(shè)置鏈接上的欺騙手段，致使一個內(nèi)容優(yōu)秀卻無太多鏈接的網(wǎng)站將很難被搜索引擎發(fā)現(xiàn)。排序?qū)W習作為網(wǎng)頁排序領(lǐng)域中新的方法出現(xiàn)，可以彌補上述兩類排序方法的不足。然而現(xiàn)有的排序?qū)W習都只適用于英文網(wǎng)頁，而對于中文網(wǎng)頁的排序?qū)W習則缺乏研究。
　　為此，本文首先針對中文與英文的不同特征來設(shè)計并實現(xiàn)了應(yīng)用于排序?qū)W習的中文網(wǎng)頁的特征提取系統(tǒng)。除了應(yīng)用傳統(tǒng)的TF，IDF，DL等詞頻統(tǒng)計的方法，還應(yīng)用了

3、文檔相關(guān)性提取的經(jīng)典語言模型BM25，LMIR_ABS，LMIR_DIR和LMIR_JM等方法提取特征，同時本文將編輯距離應(yīng)用到了排序?qū)W習的中文網(wǎng)頁特征提取中。
　　然后，搭建了排序?qū)W習的系統(tǒng)平臺，針對所獲得的中文網(wǎng)頁特征實現(xiàn)了經(jīng)典的RankNet和RankSVM排序?qū)W習算法，并對它們在中文網(wǎng)頁排序中的性能進行了實驗結(jié)果的對比。
　　最后，將添加編輯距離前后的特征分別輸入RankNet和RankSVM兩個系統(tǒng)，得出樣本的錯誤