信息檢索中淺層語(yǔ)義模型的研究.pdf

1、目前文本信息檢索領(lǐng)域中普遍采用基于統(tǒng)計(jì)的模型，如布爾模型、向量空間模型。但是它們沒(méi)有很好地解決以下幾方面問(wèn)題，包括：歧義詞辨析、同義詞擴(kuò)展、概念層次關(guān)系、上下文語(yǔ)義關(guān)系等。 為了解決以上問(wèn)題，提高文本信息系統(tǒng)檢索效力，本論文提出了兩種淺層語(yǔ)義檢索模型——淺層語(yǔ)義向量空間模型 (SSVSM，Shallow-Semantic Vector Space Model) 和基于本體的淺層語(yǔ)義模型 (OBSSM，Ontology-Based

2、 Shallow-Semantic Model)?；谶@兩種檢索模型，本論文構(gòu)建了兩個(gè)信息檢索系統(tǒng)，并分別采用英文標(biāo)準(zhǔn)語(yǔ)料和中文實(shí)際數(shù)據(jù)進(jìn)行測(cè)試，同時(shí)與傳統(tǒng)的基于統(tǒng)計(jì)的檢索模型進(jìn)行量化比較。 本論文的主要研究?jī)?nèi)容及成果如下： 1、淺層語(yǔ)義向量空間模型相關(guān)內(nèi)容及成果： (1) 提出了淺層語(yǔ)義向量空間模型。通過(guò)對(duì)傳統(tǒng)的向量空間模型 (Vector Space Model，VSM) 的改進(jìn)，提出了淺層語(yǔ)義向量空間模型。

3、該模型與傳統(tǒng)向量空間模型主要區(qū)別以及優(yōu)點(diǎn)在于：它將傳統(tǒng)的檢索關(guān)鍵詞 (本論文中主要指名詞)與修飾它的修飾詞 (本論文中主要指形容詞) 合成，作為一個(gè)整體關(guān)鍵詞 (本論文中稱其為合成短語(yǔ))，可確定多義詞的真正含義；同時(shí)，將合成短語(yǔ)中的修飾詞以及它所修飾的中心詞根據(jù)模糊同義詞詞典進(jìn)行擴(kuò)展并重組，可檢索出一些由于用詞生僻而原本檢索不出來(lái)的但符合用戶需要的文本。 (2) 建立了模糊同義詞詞典。為了實(shí)現(xiàn)淺層語(yǔ)義向量空間模型中的查詢擴(kuò)展，基

4、于著名的語(yǔ)義詞典 WordNet 建立了模糊同義詞詞典。模型中，使用該詞典對(duì)查詢向量進(jìn)行了模糊擴(kuò)展 (目前，該詞典已經(jīng)在與日本 JUSTSYSTEM 公司的合作項(xiàng)目中得到應(yīng)用，日方利用該詞典開發(fā)了 NLPs 工具)。 (3) 進(jìn)行了信息檢索試驗(yàn)。使用英文標(biāo)準(zhǔn)語(yǔ)料庫(kù) (TREC：LA-Times)，輸入共150個(gè)查詢語(yǔ)句，驗(yàn)證基于本論文提出的淺層語(yǔ)義向量空間模型的信息檢索系統(tǒng)性能，并將其反饋結(jié)果與普通檢索試驗(yàn)的結(jié)果進(jìn)行比較，用以說(shuō)

5、明該語(yǔ)義模型的優(yōu)勢(shì)。 (4) 進(jìn)行系統(tǒng)評(píng)價(jià)。本論文主要從精確率和召回率兩方面指標(biāo)對(duì)信息檢索系統(tǒng)進(jìn)行評(píng)價(jià)，試驗(yàn)結(jié)果表明，淺層語(yǔ)義向量空間模型的檢索精確率、召回率比普通檢索模型有所提高。 2、基于本體的淺層語(yǔ)義模型相關(guān)內(nèi)容及成果： (1) 建立領(lǐng)域本體。分析了某市移動(dòng)通信公司2002年～2005年的投訴記錄，使用Protégé工具建立了移動(dòng)通信投訴服務(wù)領(lǐng)域的本體。在該本體的建立過(guò)程中，提出了自頂向下結(jié)合延伸的概念提取

6、方法、基于 Apriori 算法思想挖掘概念之間關(guān)系的方法，改善了人工建立領(lǐng)域本體的不完整性。 (2) 提出了基于本體的淺層語(yǔ)義模型?；谒I(lǐng)域本體，提出了基于本體的淺層語(yǔ)義模型，對(duì)比傳統(tǒng)的基于關(guān)鍵詞檢索，它的主要優(yōu)點(diǎn)在于：根據(jù)父子概念的繼承關(guān)系、同義詞詞典的查詢擴(kuò)展，能夠提高信息檢索系統(tǒng)的召回率；根據(jù)主賓約束，能夠提高信息檢索系統(tǒng)的精確率。 (3) 給出了基于該模型進(jìn)行信息檢索的應(yīng)用實(shí)例。根據(jù)基于本體的淺層語(yǔ)義模型開