信息檢索中體現(xiàn)查詢(xún)差異的多排序模型融合問(wèn)題研究.pdf

1、伴隨互聯(lián)網(wǎng)技術(shù)的快速繁榮發(fā)展，信息檢索己經(jīng)由純粹的學(xué)術(shù)研究轉(zhuǎn)變成大多數(shù)人信息獲取的技術(shù)基礎(chǔ)。在絕大多數(shù)的信息檢索系統(tǒng)中，其檢索出來(lái)的信息（如文檔）都以排序的方式返回給用戶(hù)。因此，如何高效地對(duì)文檔進(jìn)行排序成為文檔檢索模型研究的核心問(wèn)題之一。目前，利用監(jiān)督學(xué)習(xí)的方法構(gòu)造排序模型是信息檢索領(lǐng)域中排序方法研究的熱點(diǎn)，稱(chēng)之為排序?qū)W習(xí)?；谌斯?biāo)注的數(shù)據(jù)，排序?qū)W習(xí)算法構(gòu)造出排序模型，并且將其用于預(yù)測(cè)新的未標(biāo)注數(shù)據(jù)。
　　 在實(shí)際的信息檢索任

2、務(wù)中，待排序的文檔是由不同的查詢(xún)檢索得到的，因此只有同一個(gè)查詢(xún)檢索到的文檔之間才有序關(guān)系。數(shù)據(jù)集內(nèi)不同查詢(xún)及其候選文檔組成的數(shù)據(jù)子集之間存在很大差異，現(xiàn)有排序?qū)W習(xí)算法在建立排序模型時(shí)把數(shù)據(jù)集中所有查詢(xún)下的查詢(xún)．文檔對(duì)等同處理，無(wú)法充分反映由于文檔歸屬于不同的查詢(xún)所造成的差異，影響排序模型的性能。
　　 針對(duì)上述問(wèn)題，本文提出體現(xiàn)查詢(xún)差異的多排序模型融合理論框架，在建立排序模型過(guò)程中考慮查詢(xún)之間的差異。該框架首先以查詢(xún)?yōu)閱卧獙⒂?xùn)練

3、集劃分為多個(gè)訓(xùn)練子集，在每一個(gè)訓(xùn)練子集上建立子排序模型。接著，使用監(jiān)督學(xué)習(xí)方法融合建立的多個(gè)子排序模型，在融合過(guò)程中調(diào)節(jié)不同訓(xùn)練子集產(chǎn)生損失的權(quán)重，提升排序模型的性能。在體現(xiàn)查詢(xún)差異的子排序模型生成方法上，從查詢(xún)及其相關(guān)文檔之間的內(nèi)容和單個(gè)查詢(xún)及其相關(guān)文檔建立的排序模型兩個(gè)角度度量查詢(xún)之間的差異程度。本文在真實(shí)文檔檢索數(shù)據(jù)集上分析查詢(xún)之間的差異和不同查詢(xún)相似度度量方法對(duì)排序結(jié)果的影響。
　　 在體現(xiàn)查詢(xún)差異的多排序模型融合理論框

4、架下，本文提出基于支持向量機(jī)的體現(xiàn)查詢(xún)差異排序?qū)W習(xí)算法。將訓(xùn)練集劃分為多個(gè)訓(xùn)練子集，每一個(gè)訓(xùn)練子集由一組相似的查詢(xún)及其相關(guān)文檔組成。對(duì)每一個(gè)訓(xùn)練子集，使用排序支持向量機(jī)方法建立子排序模型。不同子排序模型之間可以表征出查詢(xún)差異對(duì)排序的影響。進(jìn)一步設(shè)計(jì)基于支持向量機(jī)理論的融合函數(shù)融合多個(gè)子排序模型，并且對(duì)融合函數(shù)的構(gòu)造進(jìn)行了詳細(xì)的說(shuō)明和分析，闡述了其工作原理和性質(zhì)。本文將融合函數(shù)的優(yōu)化問(wèn)題轉(zhuǎn)化為一個(gè)等價(jià)二次規(guī)劃問(wèn)題求解，進(jìn)一步證明了融合函數(shù)

5、可以體現(xiàn)不同子排序模型產(chǎn)生的損失，并在優(yōu)化過(guò)程中調(diào)節(jié)子排序模型產(chǎn)生損失的權(quán)重。
　　 針對(duì)評(píng)價(jià)指標(biāo)與損失函數(shù)不一致對(duì)應(yīng)的情況，結(jié)合排序問(wèn)題的特性，本文設(shè)計(jì)一種直接優(yōu)化評(píng)價(jià)指標(biāo)的融合函數(shù)來(lái)融合子排序模型，進(jìn)一步修正融合排序模型，提升模型性能。由于大多數(shù)評(píng)價(jià)指標(biāo)不連續(xù)、不可導(dǎo)，因此不易直接優(yōu)化評(píng)價(jià)指標(biāo)。本文使用連續(xù)函數(shù)擬合評(píng)價(jià)指標(biāo)中不連續(xù)的部分，優(yōu)化其下界函數(shù)，并證明了其下界函數(shù)的凸性，而后使用梯度上升方法進(jìn)行優(yōu)化。本文還證明了直接

6、優(yōu)化評(píng)價(jià)指標(biāo)的融合函數(shù)可以取得比子排序模型線性合并更好的排序性能。
　　 體現(xiàn)查詢(xún)差異的多排序模型融合方法在信息檢索中有著非常廣泛的應(yīng)用。在文本檢索、網(wǎng)頁(yè)搜索和較大規(guī)模文檔檢索等實(shí)際任務(wù)中，本文驗(yàn)證了體現(xiàn)查詢(xún)差異的多排序模型融合方法在信息檢索中的應(yīng)用效果?；诖笠?guī)模公共數(shù)據(jù)集合的實(shí)驗(yàn)表明，本文提出的體現(xiàn)查詢(xún)差異的多排序模型融合方法能夠比當(dāng)前流行的排序?qū)W習(xí)算法取得更好的排序性能。本文還在實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)、算法有效性和時(shí)間復(fù)雜度等方面對(duì)