信息檢索中用戶需求的概念分析研究.pdf

1、當(dāng)今信息時代人們從海量信息中獲取自己所要的信息已經(jīng)成為日常生活和工作所需。目前信息檢索系統(tǒng)只能提供給使用者有限的幫助，局限性在于檢索準(zhǔn)確率低下，即檢索返回結(jié)果中大量不需要的信息給用戶帶來的不是幫助而是困擾，是一種噪聲。問題的癥結(jié)在于現(xiàn)有的檢索系統(tǒng)采用布爾模型“與”、“或”運算這類“離散型”處理方式，從用戶需求和文檔中抽取出離散的關(guān)鍵詞進行匹配，割斷了關(guān)鍵詞之間在語義概念上的聯(lián)系，從而喪失了這些詞表達(dá)主題思想在概念上的完整性，由此產(chǎn)生大量

2、噪聲。關(guān)注這一現(xiàn)象和問題是本文的應(yīng)用背景及其研究起始點。問題的瓶頸首先不在于提高效率的算法上，首要關(guān)注點在于如何在整個檢索過程中保證用戶需求概念完整性（整體性）。因此至關(guān)重要的起步是探索如何用概念分析方法標(biāo)引需求。標(biāo)引的基本單位不再是純屬形式上的字串而是由漢語詞匯所表示的概念及其關(guān)聯(lián)關(guān)系構(gòu)成的完整整體。
　　 本文研究漢語用戶需求的概念分析及其標(biāo)引，是概念檢索系統(tǒng)及其創(chuàng)新思想的首要組成部分。本質(zhì)上還原了用戶的檢索意圖，刻畫了概念

3、之間的內(nèi)在聯(lián)系，旨在保證概念的完整性，直接影響檢索性能和實效。與文檔分析不同，需求分析的目的不僅是得出用戶需求的一個完整的概念（圖）表示，更重要的是能準(zhǔn)確刻畫用戶腦海中檢索需求所揭示的概念內(nèi)涵特征。本文注重于用戶需求實際現(xiàn)象研究，即實際需求所揭示的概念的分析及其表示形式的歸納，建立了一些探索性方法，處理受限需求分析問題，以期之后可能擴展到整個需求分析領(lǐng)域。
　　 本文研究工作是概念檢索模型的重要組成部分，為需求概念語義分析提供了

4、有價值的思路和方法。此外對于自然語言處理領(lǐng)域中的一些熱點問題，如命名實體識別、語法調(diào)試、語義分析等研究有積極意義。
　　 本文的創(chuàng)新性有以下幾方面:
　　 1.用戶需求表達(dá)式分析充分體現(xiàn)漢語本體的特點，概念分析及其表示凸現(xiàn)了漢語命名實體直接表現(xiàn)概念內(nèi)涵的特點，實體命名形式反映了概念直接耦合:實體類名加上凸現(xiàn)必要區(qū)分特征。概念語義分析有創(chuàng)新。
　　 2.選擇漢語復(fù)合結(jié)構(gòu)作為漢語詞語表達(dá)式的核心結(jié)構(gòu)，極大的優(yōu)點在于能

5、簡潔扼要表征表達(dá)式的概念語義，并且其前瞻性在于適合于多語種翻譯自動對齊時簡化、省略形態(tài)變化，這是基于人類語言體系不同但認(rèn)知概念可以相通的基本假設(shè)。
　　 3.提出了針對部分需求的概念模型。需求概念分析基于需求表達(dá)式本身的研究分析。本文基于大量真實需求實例分析，總結(jié)了需求分析的原則要點，以及需求概念類型。歸納了一部分需求中常見的屬性名，用以標(biāo)引概念之間關(guān)聯(lián)理據(jù)。
　　 4.提出了一種全新的合一文法調(diào)試方法。方便地改造一個已

6、有的基于合一文法的句法分析器，使之適用于新的領(lǐng)域，特別是針對需求表達(dá)式的分析。本文將一個合一文法建模成Kripke結(jié)構(gòu)，通過模型檢測的方法形式化驗證。調(diào)試方法能夠自動發(fā)現(xiàn)文法錯誤，從而大大降低調(diào)試的復(fù)雜度。
　　 5.針對需求中高頻出現(xiàn)的復(fù)雜命名實體，提出了一種基于網(wǎng)絡(luò)挖掘的命名實體識別方法。由此構(gòu)建了一個兩層的關(guān)鍵詞形式需求原型分析系統(tǒng)。該系統(tǒng)先將需求表達(dá)式中分析出的概念匹配到概念框架圖上，框架圖反映了領(lǐng)域知識;再余下未匹配的

7、需求概念附著到框架圖上以構(gòu)成最終的概念圖。該系統(tǒng)較好地平衡了對于領(lǐng)域知識和通用知識的分析。
　　 6.提出了一種基于實例的問句形式需求的概念分析方法，該方法將一個問句的概念分析問題轉(zhuǎn)化為一個機器翻譯的問題，其中問句作為源語言，概念圖作為目標(biāo)語言。實際語料分析表明，即使實例集較小，該方法仍能取得較好結(jié)果。問句的相似度計算考慮了詞匯語義和句法等多種信息，詞匯的語義相似度計算采用了混合多種計算模型的集成方法。有利于句子相似度的計算并在