組合向量空間模型和語言模型的信息檢索系統(tǒng).pdf

1、信息檢索系統(tǒng)的都直接或間接依賴于檢索過程中的采用的檢索模型,這些模型具體指明了如何比較文檔和查詢的特征表示來估計文檔和查詢相關(guān)的概率.隨著各種模型的研究和開發(fā),人們很早就注意到不同的檢索模型檢索出的相關(guān)文檔集有很低的重疊率.因此,組合不同的文檔特征表示或者不同的檢索模型就成了改善信息檢索系統(tǒng)性能的一項標準技術(shù). 信息檢索的組合模型方法可以被看成是組合基于一種或多種文檔特征表示的多個分類器的輸出結(jié)果.在這個框架下,當每個分類器都能

2、產(chǎn)生很好的相關(guān)概率估計并且相互獨立時,組合模型的效果最好. 向量空間模型是信息檢索領(lǐng)域的的經(jīng)典模型,自1958年提出以來,該模型在信息檢索領(lǐng)域中一直有良好的性能表現(xiàn).統(tǒng)計語言模型是由Ponte和Croft在1998年首次提出應用于信息檢索領(lǐng)域的一個新穎的檢索模型,它采用了完全不同于向量空間模型的方法.可以預期,組合這兩種風格截然不同的模型將會使檢索結(jié)果獲得重要的提高. 向量空間的模型的一個基本假設(shè)是檢索單元之間的獨立性,

3、這樣該模型就沒有包含任何詞序信息.但是,在幾乎所有的應用中,詞的相對順序是非常有意義的,一個詞的含義往往由它臨近詞的來解釋.高階的n-gram語言模型在一定程度上包含了詞序信息.所以,組合高階的n-gram語言模型到向量空間模型中是一個優(yōu)化的組合策略. 本文設(shè)計并實現(xiàn)了一個組合向量空間模型和Bigram語言模型的信息檢索系統(tǒng),在排序算法的組合上則采用了簡單線性組合方式.為了兼顧計算上的簡單性和性能的提高,組合模型以兩階段的方式實