摘錄式單文檔中文自動文摘系統(tǒng)的研究與實現.pdf

1、在當今信息爆炸的時代,人們面對著大量沒有經過整理的原始數據時,將會茫然不知所措,而自動文摘技術能給人們提供更有力的信息加工技術和工具,但時下出現的自動文摘系統(tǒng),特別是中文自動文摘系統(tǒng)并沒有取得很好的效果,故本論文對中文自動文摘系統(tǒng)進行了研究。本論文提出的摘錄式單文檔中文自動文摘系統(tǒng)以單篇純文本文檔作為輸入,自動地抽取全面準確地反映文檔中心內容的句子組成文檔的摘要。本系統(tǒng)首先采用分詞工具ICTCLAS對文檔進行分詞和詞性標注:然后采用TF

2、C權值對分詞后的文檔建立向量空間模型,抽取句子的特征;接著采用樸素貝葉斯分類算法自動學習特征組合的方式和參數,將摘要轉化成分類問題;最后根據分類結果,抽取文摘句組成文檔的摘要。本論文首先對自動文摘技術進行綜述:其次,介紹摘錄式單文檔中文自動文摘系統(tǒng)的總體設計,包括中文分詞、文本分析、文本轉換及文本合成四大模塊的設計;再次,介紹摘錄式單文檔中文自動文摘系統(tǒng)的實現;最后,介紹系統(tǒng)性能評估的各個參數指標,并使用weka及30篇不同體裁的文檔對