基于排序?qū)W習(xí)的信息檢索模型研究.pdf

1、“信息檢索”(Information Retrieval)，又稱為“情報(bào)檢索”，它是指將信息按一定方式組織和存貯起來，并針對用戶要求找出所需信息的過程。其核心問題是如何根據(jù)候選文檔(或候選網(wǎng)頁)和用戶給定查詢的相關(guān)性產(chǎn)生一個(gè)檢索模型。早期的信息檢索模型雖然構(gòu)造方法簡單，但精度較低，難以獲得用戶滿意的檢索結(jié)果。對此，近些年國外有學(xué)者提出把一種新的學(xué)習(xí)方法-排序?qū)W習(xí)(learning to rank)應(yīng)用到檢索模型的構(gòu)造上，以期獲得更精確的

2、檢索結(jié)果。所謂的排序?qū)W習(xí)是指，使用機(jī)器學(xué)習(xí)技術(shù)和有標(biāo)簽的數(shù)據(jù)自動(dòng)產(chǎn)生一個(gè)檢索(排序)模型。由于在文檔檢索，協(xié)同濾波等領(lǐng)域的廣泛應(yīng)用，最近幾年排序?qū)W習(xí)的研究受到國內(nèi)外學(xué)者越來越多地關(guān)注，并成為逐漸當(dāng)前機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)研究熱點(diǎn)。
　　 本論文旨在研究基于排序?qū)W習(xí)的信息檢索模型。通過從Pointwise法，Pairwise法，Listwise法等多個(gè)角度設(shè)計(jì)更為高效的排序算法，以期構(gòu)造更為精確的排序模型。具體而言，論文的工作主要包括

3、以下幾個(gè)方面：
　　 (1)針對傳統(tǒng)Ranking SVM算法得到的排序模型在用NDCG等信息檢索標(biāo)準(zhǔn)來評價(jià)效果不好。提出一種對原算法的改進(jìn)算法。新算法首先設(shè)計(jì)了一個(gè)查詢級的框架，在此基礎(chǔ)上定義了一個(gè)面向NDCG的目標(biāo)函數(shù)，針對該目標(biāo)的非光滑，提出使用割平面算法進(jìn)行求解?；鶞?zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)證明了所提算法的有效性。
　　 (2)針對已有“直接優(yōu)化評估標(biāo)準(zhǔn)”算法或基于“Pairwise”法或基于“Listwise”法。而對于

4、使用“Pointwise”法解決上述問題缺乏關(guān)注，提出兩個(gè)基于“Pointwise”法的排序算法。兩算法均以NDCG為優(yōu)化目標(biāo)，但定義了不同的目標(biāo)函數(shù)并使用了不同的優(yōu)化技術(shù)。具體而言，第一個(gè)算法使用基于margin-rescaling的算法框架，在此基礎(chǔ)上設(shè)計(jì)了面向NDCG的凸目標(biāo)函數(shù)，并提出使用割平面算法進(jìn)行求解。針對已有割平面算法對割平面的選擇，往往使“主問題”值的變化存在一定的波動(dòng)，降低算法的效率。文中給出一個(gè)高效線性搜索算法，以

5、此決定新的割平面選擇，保證了“主問題”值變化地單調(diào)遞減。第二個(gè)算法采用基于slack-resealing的算法框架，并定義了面向NDCG的一個(gè)非凸目標(biāo)函數(shù)，該函數(shù)比已有的凸目標(biāo)函數(shù)更加緊湊。針對函數(shù)的非凸非光滑，提出首先使用凹-凸過程進(jìn)行逼近，然后再使用割平面算法進(jìn)行求解?；鶞?zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)證明了所提算法的有效性。
　　 (3)提出一種結(jié)合Listwise法和Pairwise法的新型排序算法。算法將排序?qū)W習(xí)分為兩個(gè)階段，第一階段

6、為“主學(xué)習(xí)”階段，該階段采用Listwise法，在本階段算法首先選擇1-slack SVM為學(xué)習(xí)工具，然后定義了學(xué)習(xí)目標(biāo)，該目標(biāo)更關(guān)注排名靠前的相關(guān)文檔。針對目標(biāo)函數(shù)的約束條件太多，難以直接計(jì)算，提出使用割平面算法進(jìn)行求解。對于算法內(nèi)部的“尋找最違背排列”的子過程，提出將其看成一個(gè)降序排列的過程，并使用快速排序法求解。算法的第二個(gè)階段為第一階段基礎(chǔ)上的“再次精化”。為此，算法采用Pairwise法的框架，并將原RankingSVM的凸鉸

7、鏈函數(shù)，變?yōu)榉峭筍igmoid函數(shù)，確保了第二階段解為原解基礎(chǔ)上的局部最優(yōu)?；鶞?zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明：相比起已有的Pairwise算法和直接優(yōu)化評估標(biāo)準(zhǔn)的Listwise算法，本文提出的兩階段排序算法所獲得的模型更為精確，在不同等級數(shù)據(jù)集上的表現(xiàn)也更加穩(wěn)定。
　　 (4)針對已有Ranking SVM算法對異常點(diǎn)比較敏感，提出利用非凸Ramp Loss來抑制異常點(diǎn)的影響。具體來說，文中對原有的Ranking SVM算法提出了兩

8、種改進(jìn)的算法。一種是直接將原有的凸Hinge Loss變成非凸Ramp Loss，針對該目標(biāo)函數(shù)的非凸非光滑，提出使用凹-凸過程進(jìn)行凸逼近，然后使用在線學(xué)習(xí)進(jìn)行學(xué)習(xí)；另一種是將“選擇樣本技術(shù)”引入到對訓(xùn)練數(shù)據(jù)的預(yù)處理中來，即利用Ramp Loss函數(shù)作為過濾器，刪除那些可能的異常點(diǎn)數(shù)據(jù)，并用剩余的數(shù)據(jù)進(jìn)行學(xué)習(xí)。不同數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明：相比起已有的Ranking SVm算法，所提算法能夠有效的抑制異常點(diǎn)的影響，獲得更精確的排序模型，同

9、時(shí)，由于算法具有更少的支持向量，在運(yùn)行時(shí)間上也具有明顯的優(yōu)勢。
　　 作為信息檢索和機(jī)器學(xué)習(xí)的一個(gè)交叉課題，本文的研究具有重要的意義。一方面研究的成果可直接應(yīng)用于文檔檢索，協(xié)同濾波，專家發(fā)現(xiàn)，情感分析，過濾垃圾郵件等領(lǐng)域。另一方面，文中用到的一些機(jī)器學(xué)習(xí)方面的理論和優(yōu)化方法，對于其它相關(guān)研究，比如：自然語言解析(natural language parsing)、生物信息中序列對比(sequence alignment)、標(biāo)簽序