基于文檔間相似性的Top-k排序?qū)W習(xí)方法.pdf

1、現(xiàn)在隨著人們對(duì)互聯(lián)網(wǎng)上的信息需求越來越大，能夠準(zhǔn)確快捷的獲取到信息已經(jīng)成為了搜索引擎研究方面的熱點(diǎn)問題。在這其中，排序成為了搜索引擎技術(shù)中至關(guān)重要的一環(huán)。為了使得用戶滿意度提高，勢必就要提高返回結(jié)果的精度，把最為相關(guān)的若干頁面返回給用戶。如何實(shí)現(xiàn)這一目的便成為了對(duì)搜索引擎研究的熱點(diǎn)，最近若干年最為流行的熱點(diǎn)方法便是將搜索引擎中的排序過程使用機(jī)器學(xué)習(xí)的方法來研究解決，這是由于影響排序結(jié)果的特征因素十分繁雜，將這些因素都考慮進(jìn)去勢必會(huì)得到一

2、個(gè)更加合理的排序結(jié)果。這種方法也就是Learning toRank方法。
　　在實(shí)際應(yīng)用中如信息檢索，推薦系統(tǒng)或者計(jì)算廣告等，對(duì)于大部分用戶來說，主要關(guān)心的是排序比較靠前的若干個(gè)結(jié)果，而對(duì)于排名靠后的結(jié)果，其準(zhǔn)確度是可以適當(dāng)忽略的。也就是說，靠前的若干結(jié)果對(duì)于用戶的用戶體驗(yàn)和滿意度來說，這些結(jié)果是至關(guān)重要的。由此，一種叫做 Top-k排序的排序方法被提出來解決上述要求。
　　本課題在前人提出的模型的基礎(chǔ)上加以改進(jìn)，首先是在層

3、次 Top-k排序模型中加入了文檔之間的相似性信息，這樣一來，模型在對(duì)Top-k數(shù)據(jù)建模的過程中考慮了文檔之間的相似性，并不是把文檔看做是互相獨(dú)立不相關(guān)的，而是有聯(lián)系的。我們將文檔之間的相似性作為每個(gè)文檔打分的加權(quán)加到對(duì)其他文檔的打分中。這樣一來便能充分利用這些附加的信息為我們的Top-k排序算法服務(wù)，使得最終的排序結(jié)果得以改進(jìn)。
　　當(dāng)加入文檔之間的相似性得到新的模型后，本課題又提出了不使用重新設(shè)計(jì)損失函數(shù)并令其最小化而直接使用

4、對(duì)排序概率進(jìn)行最大化的方法來對(duì)模型參數(shù)進(jìn)行優(yōu)化，這樣做的結(jié)果是使得訓(xùn)練模型的運(yùn)算量大大降低，從組合級(jí)別降至多項(xiàng)式級(jí)別。這樣一來使得本課題提出的方法具有了現(xiàn)實(shí)的意義與應(yīng)用的價(jià)值。
　　而后又結(jié)合實(shí)驗(yàn)結(jié)果對(duì)Top-k模型進(jìn)行了改進(jìn)，由于原 Top-k層次模型在第一層過程中有不少本應(yīng)排在前k個(gè)位置上的文檔被錯(cuò)誤的放到位置k以后。這樣導(dǎo)致的問題是：由于第一層結(jié)束后模型提供給第二層的信息存在缺陷，所以不管第二層過程算法再復(fù)雜，使用的附加信息