面向查詢的多文檔自動(dòng)文摘關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展和文本信息的日益增多，從大量信息中快速查找和獲取有用信息的迫切需求使得自動(dòng)文摘技術(shù)日益重要。自動(dòng)文摘是指由計(jì)算機(jī)自動(dòng)從一篇或多篇文本中概括出主要內(nèi)容，從而把大量原來需要用戶來完成的工作都交給計(jì)算機(jī)自動(dòng)完成，節(jié)省了用戶瀏覽信息的時(shí)間，減輕了用戶負(fù)擔(dān)。這個(gè)任務(wù)涉及到文本理解、文本生成等自然語言處理領(lǐng)域的多個(gè)方面，對(duì)于計(jì)算機(jī)具有很大的挑戰(zhàn)性。本文正是在這種前提下，對(duì)自動(dòng)文摘技術(shù)進(jìn)行了探索性研究。
　　 本文在面向查

2、詢的多文檔自動(dòng)文摘方面以及文摘連貫性的自動(dòng)評(píng)價(jià)方面做了深入的研究工作。我們?cè)谶@兩年參加文摘方面的國際評(píng)測(cè)會(huì)議DUC的基礎(chǔ)上，研究并實(shí)現(xiàn)了多種面向查詢的多文檔自動(dòng)文摘技術(shù)。
　　 我們采用了最大熵模型來實(shí)現(xiàn)基于機(jī)器學(xué)習(xí)的自動(dòng)文摘系統(tǒng)。為了進(jìn)一步找出文檔句之間以及句子與查詢之間的語義關(guān)聯(lián)，我們提出了一種在文摘系統(tǒng)中進(jìn)行語義擴(kuò)展的方法，該方法通過WordNet中定義的同義詞集以及詞與詞之間的語義關(guān)系，對(duì)傳統(tǒng)的基于詞的句子向量進(jìn)行語義擴(kuò)

3、展，從而將語義信息融入到句子中，使得系統(tǒng)性能比起語義擴(kuò)展前得到了顯著提高。
　　 本文還提出了一種基于圖排序算法的查詢擴(kuò)展方法，將其結(jié)合到面向查詢的自動(dòng)文摘系統(tǒng)中，可以很好的解決原始查詢中通常包含信息量不足的問題。該擴(kuò)展方法在句一句關(guān)系以及句一詞關(guān)系的基礎(chǔ)上利用上下文信息對(duì)查詢進(jìn)行擴(kuò)展，能夠以較少的噪聲獲取到更多相關(guān)信息。加入了查詢擴(kuò)展后的文摘系統(tǒng)在性能上比擴(kuò)展前有明顯的提高，在DUC標(biāo)準(zhǔn)評(píng)測(cè)語料上達(dá)到了目前的最好結(jié)果，充分表明

4、了該查詢擴(kuò)展方法的有效性。
　　 自動(dòng)文摘研究的另一個(gè)主要方面是文摘的評(píng)測(cè)。當(dāng)前對(duì)文摘的自動(dòng)評(píng)測(cè)主要在于考察文摘的內(nèi)容覆蓋率，對(duì)文摘語言質(zhì)量如可讀性、連貫性等方面的評(píng)測(cè)則由人工完成，由于需要消耗大量人力而且缺乏客觀性，使得人工評(píng)測(cè)方法不能普及，所以如何能對(duì)文摘的語言質(zhì)量進(jìn)行自動(dòng)評(píng)測(cè)是一個(gè)重要研究問題。本文提出了一種對(duì)文摘連貫性的自動(dòng)評(píng)價(jià)模型。在文摘連貫性的自動(dòng)評(píng)價(jià)上，我們對(duì)基于實(shí)體的連貫性基本模型從特征和實(shí)體選取等方面做了深入研