基于Tag-LDA語義分析的全文檢索方法研究.pdf

1、21世紀(jì)是一個(gè)以信息化、數(shù)字化和網(wǎng)絡(luò)化為主要特點(diǎn)的時(shí)代，網(wǎng)絡(luò)上的文本數(shù)據(jù)正在以一種前所未有的方式增長，如何在這信息海洋中查找到用戶需要的信息，成為了信息檢索技術(shù)亟待解決的難題。傳統(tǒng)的信息檢索系統(tǒng)根據(jù)用戶提交的關(guān)鍵詞對(duì)文檔進(jìn)行簡單的匹配，這類方法獲得的檢索結(jié)果已經(jīng)不能滿足用戶的要求了，原因有兩點(diǎn):第一，沒有挖掘出文本深層次的語義信息;第二，查詢關(guān)鍵詞過少，無法表達(dá)出用戶的真正意圖。本文基于以上兩點(diǎn)不足，提出了改進(jìn)策略，利用標(biāo)簽主題模型挖掘

2、文本語義和對(duì)查詢語句進(jìn)行擴(kuò)展，具體如下:
　　本文第三章提出一種基于向量空間特征轉(zhuǎn)換的文本檢索方法。由于基于知識(shí)庫的語義指紋信息和通過標(biāo)簽主題模型挖掘出的標(biāo)簽語義知識(shí)是兩種不同的表征方式，前者是顯式的語義知識(shí)，后者是潛在的語義知識(shí)，雖然都是對(duì)文本語義特征的描述，但是它們表征方式不一樣，不能直接融合，在這里我們引入向量空間作為橋梁，將語義指紋知識(shí)通過向量空間轉(zhuǎn)換到標(biāo)簽主題模型空間中，然后獲得能夠兼容于標(biāo)簽主題空間的語義指紋信息，同時(shí)

3、也用相關(guān)定理證明轉(zhuǎn)換過程的合理性。將這個(gè)可兼容的語義指紋信息融入到標(biāo)簽主題模型中，得到新的主題模型語義標(biāo)簽主題模型。融合了語義指紋信息的語義標(biāo)簽主題模型對(duì)標(biāo)簽的語義信息具有一定的消歧作用，因此能夠更有效地挖掘文本更準(zhǔn)確的語義信息，從而提高檢索效率。
　　本文第四章提出一種基于初次檢索結(jié)果查詢擴(kuò)展的文檔重排方法，該方法利用標(biāo)簽主題模型來抽取目標(biāo)文檔的概念語義標(biāo)簽，利用初始檢索文檔的相關(guān)標(biāo)簽分布來表征查詢主題。第一，對(duì)初始檢索結(jié)果進(jìn)行

4、標(biāo)簽主題建模，得到“文檔一標(biāo)簽”概率矩陣;第二，將前k篇文檔視為與用戶查詢相關(guān)，將這k篇文檔的標(biāo)簽分布作為一個(gè)初始標(biāo)簽分布集合;第三，利用維基百科上生成的概念關(guān)系圖，過濾掉與查詢主題無關(guān)的標(biāo)簽，得到一個(gè)新的標(biāo)簽分布集合來表征查詢主題;最后，基于標(biāo)簽分布來計(jì)算查詢主題與文檔之間一個(gè)新的相關(guān)度值，再融合初次檢索結(jié)果，得到最終的文檔排序結(jié)果。該方法抽取了初次檢索出與用戶查詢相關(guān)文檔中的相關(guān)成分，過濾掉了噪音，更能表征查詢主題的語義信息，從而提