基于統(tǒng)計與語義分析的多文檔自動摘要研究.pdf

1、近年來，計算機技術(shù)的發(fā)展和互聯(lián)網(wǎng)的普及把我們帶入了信息的海洋之中，信息的增長速度已經(jīng)超出了我們的想象。目前，人們主要通過搜索引擎在互聯(lián)網(wǎng)中搜索自己需要的信息，但搜索返回的結(jié)果包含了大量冗余信息，使得人們很難在短時間內(nèi)從這些信息中提取出自己感興趣的部分。多文檔文摘正是為了解決這一問題而產(chǎn)生的一種新技術(shù)，它可以將多篇同一主題的文章進(jìn)行篩選和匯總，從中提取出簡潔、全面的信息，將人們從繁瑣、冗余的信息中解脫出來。 本文在現(xiàn)有的多文檔自動

2、摘要技術(shù)基礎(chǔ)之上，對語義概念抽取和聚類算法等關(guān)鍵技術(shù)展開研究，實現(xiàn)了一個基于統(tǒng)計和語義分析的多文檔自動摘要系統(tǒng)。本文的主要研究內(nèi)容和特色如下： (1)采用概念統(tǒng)計方法代替?zhèn)鹘y(tǒng)的詞頻統(tǒng)計，建立概念向量空間模型進(jìn)行多文檔摘要，減少了傳統(tǒng)VSM模型中標(biāo)引詞向量間“斜交”所帶來的影響。 (2)傳統(tǒng)的方法一般通過詞形或詞共現(xiàn)等特征進(jìn)行句子相似度的計算。本文對句子相似度計算方法進(jìn)行了改進(jìn)，通過分析句子中詞語之間的內(nèi)在聯(lián)系進(jìn)行計算，提

3、高了計算的準(zhǔn)確率。 (3)借助WordNet語義資源進(jìn)行語意消歧和概念樹的構(gòu)造，建立了一種樹形結(jié)構(gòu)描述文檔集合，并提出一種主題概念抽取方法，從概念樹中抽取主題概念對句子進(jìn)行加權(quán)，顯著地提高了多文檔自動文摘的質(zhì)量。 (4)在深入研究了多文檔主題劃分技術(shù)的基礎(chǔ)上，對基于密度聚類的OPTICS算法進(jìn)行了改進(jìn)和優(yōu)化，并將其應(yīng)用到多文檔摘要中。改進(jìn)后的方法能夠更加準(zhǔn)確的劃分文檔集合主題，使得抽取的結(jié)果更加全面。 基于統(tǒng)計和