語義度量在文本信息檢索的研究.pdf

1、信息檢索是隨著科學(xué)技術(shù)的發(fā)展和信息量的激增而產(chǎn)生的技術(shù),并在人們的工作和生活當(dāng)中發(fā)揮著越來越重要的作用。人們在平時(shí)經(jīng)常用到的信息大部分都是用文本形式來表示的,所以經(jīng)常用到的查詢就是文本形式的信息檢索,即文本信息檢索。人們在面對(duì)大量信息的時(shí)候,如何從這些大量的信息中檢索出滿足用戶查詢條件的信息是非常重要的。
　　 對(duì)文本信息進(jìn)行查詢時(shí),首先要使用合適的數(shù)據(jù)模型對(duì)文本信息進(jìn)行抽象,本文采用向量空間模型(VectorSpaceMode

2、l),對(duì)文本信息進(jìn)行特征向量的提取,這樣在對(duì)文本進(jìn)行相似度匹配的時(shí)候,就可以選用文本特征向量對(duì)相似度進(jìn)行比較。
　　 在對(duì)文本特征向量進(jìn)行相識(shí)度比較的時(shí)候,本論文采用了基于語義度量的方法-擴(kuò)散映射(DiffusionMaps),該方法在對(duì)文本特征向量進(jìn)行處理的時(shí)候,可以把高維的數(shù)據(jù)通過擴(kuò)散映射降為低維數(shù)據(jù),在擴(kuò)散的過程中,擴(kuò)散距離可以保持?jǐn)?shù)據(jù)語義之間的不變性。對(duì)經(jīng)過擴(kuò)散映射處理過的數(shù)據(jù),本論文定義了一個(gè)二值法,如果向量的第p位的

3、值大于或等于所有向量的第p位的平均值則其值為+1,小于向量平均值的為-1,這樣文本就用一串低維數(shù)的二值向量來表示。
　　 對(duì)文本進(jìn)行檢索時(shí),對(duì)那些要查詢的文檔,根據(jù)剛才得到的二值向量,訓(xùn)練出來分類器,然后用分類器對(duì)要查詢的文檔進(jìn)行分類,就可以對(duì)查詢文檔用二值向量來表示,就可以加快文件的檢索速率。
　　 本論文使用Reuters21578,20Newsgroups,,TDT2,作為測試數(shù)據(jù)集合,對(duì)我們提出的基于語義度量的文