LDA在信息檢索中的應(yīng)用研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，信息的數(shù)量呈指數(shù)增長，從海量的互聯(lián)網(wǎng)信息中查找到用戶所需要的信息，已經(jīng)成為信息檢索中的一項迫切需求。目前較為常用的是基于關(guān)鍵詞匹配的信息檢索技術(shù)，然而面對漢語語言文化表達形式的多樣性，一詞多義與一義多詞等現(xiàn)象屢見不鮮，基于關(guān)鍵詞的檢索技術(shù)在潛在語義的信息挖掘方面，已經(jīng)無法滿足用戶更為全面的檢索需要。LatentDirichletAllocation(LDA)作為一種潛在的語義主題模型，可以實現(xiàn)相同語義的主題單詞之間

2、的相互關(guān)聯(lián)，給信息檢索中文本的潛在語義信息的挖掘提供良好的檢索模型框架。本課題針對LDA在信息檢索中的應(yīng)用進行了如下研究:
　　首先，基于LDA模型的主題分類算法的改進。針對LDA在大規(guī)模數(shù)據(jù)集的數(shù)據(jù)挖掘中所存在的文檔主題強制性分配，以及主題太過寬泛等問題，本文提出基于LDA的文檔主題分類生成算法，在文檔的產(chǎn)生過程中，通過加入文檔-類別標簽γ，計算文檔的最相關(guān)主題的概率，判斷文檔的所屬類別，實現(xiàn)文檔在類內(nèi)的主題挖掘與主題共現(xiàn)。

3、r>　　其次，信息檢索中文檔主題檢索模型的構(gòu)建。針對傳統(tǒng)的基于關(guān)鍵詞的檢索中存在的潛在語義信息遺漏等問題，在已有的檢索模型算法的基礎(chǔ)上，運用LDA的文檔主題提取算法，提取文檔中的主題信息結(jié)構(gòu)，將文檔的主題信息整合到傳統(tǒng)的查詢概率檢索模型中，構(gòu)造新的基于LDA的文本主題檢索模型，實現(xiàn)模型中文檔的語義主題表示，使模型的檢索效果得到一定程度的改善和提高。
　　最后，在Nutch開發(fā)平臺下，根據(jù)中文信息檢索中存在的語義檢索特點，對中文文本