基于同義詞詞林的自動文摘系統(tǒng)的研究.pdf

1、進入20世紀(jì)90年代，隨著互聯(lián)網(wǎng)的迅猛發(fā)展，信息的爆炸式增長滿足了人們對信息需求的同時，也使人們快速、準(zhǔn)確地找到真正需要的信息變得更加困難。自動文摘是解決這一問題的一種非常有效的技術(shù)，因此目前成為了人們?nèi)找骊P(guān)注的研究熱點。 本文首先介紹了自動文摘的發(fā)展歷史與研究現(xiàn)狀，并說明了目前幾種主要的自動文摘系統(tǒng)模型和方法：基于統(tǒng)計的機械文摘、基于理解的文摘、基于篇章結(jié)構(gòu)的自動文摘以及它們的研究處理過程，對它們的優(yōu)點和缺點進行了討論，歸納出

2、各自的特點。 接著本文對自然語言處理的技術(shù)基礎(chǔ)進行了闡述。介紹了語料庫的發(fā)展現(xiàn)狀，并對本文所采用的來自北大計算語言研究所標(biāo)注的《人民日報》語料庫進行了說明，在其基礎(chǔ)上進行了詞典的建立，以及詞性轉(zhuǎn)移概率統(tǒng)計；介紹了本文采用的分詞切分方法：正向、逆向以及雙向結(jié)合得方法；針對出現(xiàn)的交集型切分歧義，本文采用基于互信息的消歧方法，并通過對語料庫中歧義現(xiàn)象的統(tǒng)計建立了歧義信息統(tǒng)計表，避免了對整個語料庫的重復(fù)搜索，提高了消歧的效率；詞性標(biāo)注方

3、面，本文介紹了馬爾科夫相關(guān)模型，借助其特征轉(zhuǎn)移的性質(zhì)對已切分完畢的語句進行標(biāo)注，取得了很好的效果。 隨后，本文利用同義詞詞林進行了詞語概念的提取，構(gòu)建文本概念的向量空間，并利用相似度的理論計算出其中的參數(shù)值，即段落重要度，從而在此基礎(chǔ)上計算出了句子的重要度，最后利用fisher分類方法對重要度較高的語句進行提取，從而形成文摘。 本文嘗試將句子格作為描述句子的特征，在句法依存的基礎(chǔ)上進行格的提取，提出了粗糙集的決策方案，并