基于特征抽取和轉(zhuǎn)換方法的全文檢索研究.pdf

1、在信息檢索技術(shù)隨著互聯(lián)網(wǎng)的迅猛發(fā)展而日趨成熟的同時(shí)，搜索引擎也已經(jīng)成為人們?nèi)粘Ｉ钪性絹碓讲豢扇鄙俚闹匾ぞ吆褪侄巍鹘y(tǒng)的信息檢索是在基于關(guān)鍵詞匹配的基礎(chǔ)上，機(jī)械地匹配僅僅包含有指定關(guān)鍵詞的文檔來獲得相關(guān)文檔，這種方式常常會帶來語義理解上的錯(cuò)誤，越來越不能滿足現(xiàn)狀用戶的需求和科學(xué)研究的需要，于是語義分析和挖掘顯現(xiàn)了在檢索中的重要性。
　　由于漢語語言的二義性和相關(guān)性，在一定程度上造成了不確定性和模糊性，潛在語義分析的方法被廣泛用于

2、信息檢索領(lǐng)域，它的核心是針對詞語和文檔進(jìn)行分析，建立一個(gè)矩陣，并作加權(quán)轉(zhuǎn)換，用于計(jì)算的加權(quán)函數(shù)又直接影響潛在語義分析的結(jié)果。這樣建立起的詞與詞之間的語義關(guān)系矩陣，在很大程度上消除了由于詞語語義的多樣性和隨意性導(dǎo)致的對檢索結(jié)果產(chǎn)生的偏差。然而這種方法依然忽略了語言的模糊性和不確定性，所以將云模型理論引入到信息檢索研究中，挖掘出一些潛在的語義信息。
　　LDA模型，被用于挖掘潛在的主題結(jié)構(gòu)，這些主題上分布的詞是在語義上相關(guān)的。但是主題

3、在語義上具有不確定性。本文在LDA模型的基礎(chǔ)上引進(jìn)云模型理論，利用云模型均值和方差的關(guān)系，在抽樣時(shí)標(biāo)注了某個(gè)主題，就為主題添加主題關(guān)系調(diào)節(jié)因子，建立一個(gè)新的特征選擇系統(tǒng)。于是新的方法能夠抽取出文本的特征集，特征集對于文本具有高的貢獻(xiàn)度。新獲得的特征集有更少但能最大程度上表示文本的詞語。
　　特征詞語有不同表示形式的語義信息，兩種語義空間下的信息不能直接融合。本文提出了一種特征轉(zhuǎn)換機(jī)制，在云空間上對兩種語義信息進(jìn)行轉(zhuǎn)換使其具有一致性