基于子主題劃分和句子特征的中文文檔自動(dòng)文摘研究.pdf

1、隨著網(wǎng)絡(luò)上電子信息的劇增，如何準(zhǔn)確高效的獲取需要的信息變得日益重要。文摘作為文檔內(nèi)容的概述，它的簡(jiǎn)潔性、概括性、可讀性和客觀性能夠滿足人們高效挖掘有用信息的需求。因此，自動(dòng)文摘逐漸成為近年來(lái)自然語(yǔ)言處理領(lǐng)域的一個(gè)研究熱點(diǎn)。
　　 本文首先介紹文摘的概念、自動(dòng)文摘的國(guó)內(nèi)外研究現(xiàn)狀及研究方法。然后針對(duì)基于LexRank算法的文摘抽取存在的優(yōu)缺點(diǎn)進(jìn)行了討論分析，提出了一種新的基于子主題劃分和句子特征的中文文檔自動(dòng)文摘方法：
　　

2、 ①將中文文檔表示為以句子為頂點(diǎn)，句子之間的相似度為邊權(quán)值的無(wú)向加權(quán)圖結(jié)構(gòu)。然后得到其最大生成樹(shù)，并在最大生成樹(shù)上采用改進(jìn)的K-means算法完成聚類，得到的每個(gè)子類代表一個(gè)子主題。對(duì)文檔進(jìn)行子主題劃分可以解決摘要的低主題覆蓋率，得到更全面的文摘；
　　 ②在每個(gè)子主題內(nèi)，句子權(quán)重由LexRank算法得到的句子顯著度與句子特征的得分共同衡量，例如句子的長(zhǎng)度、位置、標(biāo)題詞匯、指示性短語(yǔ)、句子結(jié)構(gòu)等，從而得到更加準(zhǔn)確和全面的句子權(quán)

3、重；
　　 ③在抽取文摘前，首先對(duì)子主題按照重要度由高到低進(jìn)行排序，然后按照壓縮率依次從每個(gè)子主題中抽取當(dāng)前權(quán)重最高的句子放入文摘句集合中。每當(dāng)抽取一個(gè)文摘句后，就對(duì)該子主題中其他句子進(jìn)行權(quán)重重置計(jì)算，以避免下次重復(fù)抽取相似度較高的句子。這樣不僅可以使文摘較全面的表達(dá)文檔的重要主題，而且可以減少文摘的冗余。
　　 最后使用哈爾濱工業(yè)大學(xué)社會(huì)計(jì)算與信息檢索研究中心提供的單文檔自動(dòng)文摘語(yǔ)料庫(kù)，對(duì)三種不同的自動(dòng)文摘方法進(jìn)行了對(duì)