基于概念的多文檔自動(dòng)摘要研究.pdf

1、多文檔自動(dòng)摘要是自然語(yǔ)言理解領(lǐng)域的一個(gè)重要的研究方向。近年來(lái)，隨著計(jì)算機(jī)和互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展和普及，信息增長(zhǎng)的速度比以前各個(gè)時(shí)期都更快，人們?cè)絹?lái)越陷入到信息的海洋之中。目前，人們主要是通過(guò)搜索引擎獲得自己需要的信息，但搜索引擎返回來(lái)的相關(guān)文檔太多，而多數(shù)是重復(fù)和相似的。這樣人們就不能快速且高效地獲取自己所需要的信息。多文檔自動(dòng)摘要技術(shù)研究的目標(biāo)正是力求解決這一問(wèn)題，把多篇同一主題的文檔進(jìn)行匯總，給人們提供簡(jiǎn)潔、信息全面的摘要，將人們從

2、繁瑣、冗余的信息中解脫出來(lái)?；诟拍畹亩辔臋n自動(dòng)摘要的研究借助于語(yǔ)義資源確定文檔中單詞的概念，然后通過(guò)概念共現(xiàn)圖抽取文檔集的主題概念，計(jì)算句子的重要性，最后抽取文摘句生成摘要。 本文圍繞基于概念共現(xiàn)圖的多文檔自動(dòng)摘要系統(tǒng)，針對(duì)其關(guān)鍵技術(shù)展開了研究，主要研究?jī)?nèi)容和特色如下： (1)為了引出概念共現(xiàn)圖方法，本文首先研究了詞共現(xiàn)圖方法，并通過(guò)引入潛在語(yǔ)義分析的方法減小詞對(duì)之間的相關(guān)性，引入衰減因子來(lái)提高詞共現(xiàn)度的準(zhǔn)確性等對(duì)它進(jìn)

3、行了改進(jìn)。 (2)對(duì)概念提取方法進(jìn)行了研究。借助語(yǔ)義資源WordNet的支持，提出了一科，概念歸并算法和概念權(quán)重計(jì)算模型來(lái)確定文檔中單詞在上下文中的概念。 (3)本文以概念代替詞形，用概念統(tǒng)計(jì)代替?zhèn)鹘y(tǒng)的詞形頻率統(tǒng)計(jì)，建立概念向量空間模型。以減小傳統(tǒng)的標(biāo)引詞向量之間存在的”斜交”情形對(duì)文摘效果的影響。 (4)深入研究了主題劃分技術(shù)，并提出了一種基于概念共現(xiàn)圖模型的主題劃分方法，使得產(chǎn)生的子主題信息覆蓋率大，又盡可能