一種基于主題的并行排序?qū)W習(xí)方法研究.pdf

1、在信息檢索領(lǐng)域排序?qū)W習(xí)方法是目前主流的排序技術(shù)，目前，排序?qū)W習(xí)方法的研究以文檔獨(dú)立性假設(shè)為前提，重點(diǎn)關(guān)注如何精準(zhǔn)預(yù)測(cè)單個(gè)文檔與查詢之間的相關(guān)性得分，忽略了對(duì)文檔之間的關(guān)系進(jìn)行考慮，這樣就導(dǎo)致了排序結(jié)果中冗余信息的產(chǎn)生。此外，現(xiàn)有的排序?qū)W習(xí)方法對(duì)于所有類型的查詢都用一個(gè)統(tǒng)一的排序模型來(lái)處理，忽視了查詢的差異性，不能夠有針對(duì)性的對(duì)查詢進(jìn)行處理，這樣就降低了排序結(jié)果的準(zhǔn)確率。
　　本文首先論述考慮查詢之間的差異性的必要性。然后在此基礎(chǔ)上

2、，研究如何在訓(xùn)練排序模型的過(guò)程，打破文檔獨(dú)立性假設(shè)，對(duì)文檔間的關(guān)系進(jìn)行建模，具體的研究?jī)?nèi)容包括:
　　在離線階段，本文提出在訓(xùn)練排序模型過(guò)程中同時(shí)將文檔間的關(guān)系和查詢的差異性進(jìn)行考慮。首先提出將查詢表示為查詢特征向量的形式，采用聚類的方法，根據(jù)查詢之間的相似性對(duì)查詢集合進(jìn)行劃分，形成了不同的訓(xùn)練(子)集，針對(duì)每一個(gè)訓(xùn)練子集分別構(gòu)建排序模型。在體現(xiàn)查詢差異的子排序模型的訓(xùn)練過(guò)程中，將文檔間的關(guān)系進(jìn)行考慮，使得模型的創(chuàng)建更具有針對(duì)性和

3、適應(yīng)性，提出了關(guān)系排序?qū)W習(xí)模型。這樣，最終對(duì)于一個(gè)文檔的打分取決于其自身內(nèi)容與查詢的相關(guān)性，以及其與之前的所有已經(jīng)排序好的文檔之間的關(guān)系?；谝陨峡紤]，定義了相應(yīng)的排序函數(shù)和損失函數(shù)。
　　針對(duì)在線階段如何對(duì)新到來(lái)的查詢進(jìn)行處理，本文提出一種并行排序框架，首先提出一種排序模型選擇方法，該方法通過(guò)選擇k個(gè)最善于處理目標(biāo)查詢的排序模型，使用該k個(gè)排序模型對(duì)待處理查詢的相關(guān)文檔進(jìn)行打分，使用該方法能夠針對(duì)不同類型的查詢選擇出更加適合的候