基于統(tǒng)計的中文文本關(guān)鍵短語自動抽取方法研究.pdf

1、關(guān)鍵詞抽取是文本信息處理的重要技術(shù)，是在進(jìn)行文本自動摘要、文本自動分類、主題提取及專利檢索分析等文本信息理解工作時，都要應(yīng)用到的一項關(guān)鍵技術(shù)。 關(guān)鍵詞一要反映文本的主題內(nèi)容，二要具有專指性。由于作者給定的關(guān)鍵詞大多是由兩個或者兩個以上的詞組成，本文也稱為關(guān)鍵短語。 本文以語言學(xué)、認(rèn)知心理學(xué)、計算語言學(xué)等方面的理論為短語優(yōu)勢理據(jù)，提出基于左右鄰信息的擴(kuò)展的完整短語識別方法，并加以規(guī)則進(jìn)行指導(dǎo)。本文將關(guān)鍵短語抽取建模為分類問

2、題，即分詞處理后產(chǎn)生的詞是或不是關(guān)鍵短語分詞所產(chǎn)生的詞(本文稱為候選關(guān)鍵詞)。然后用決策樹方法來解決這個分類的問題。從大量的科技文獻(xiàn)中統(tǒng)計分析得出詞頻、首位置、詞性、位置特征作為屬性構(gòu)建訓(xùn)練集，并用C4.5算法生成決策樹抽取候選關(guān)鍵詞。最后以識別出的短語為依據(jù)對候選關(guān)鍵詞進(jìn)行合并后處理，最終得到關(guān)鍵短語。實驗證明此方法有效，獲得了較好的性能。 考慮到上述方法具有領(lǐng)域局限性和受訓(xùn)練語料規(guī)模限制，進(jìn)一步利用復(fù)雜網(wǎng)絡(luò)的特征值抽取關(guān)鍵短

3、語。此方法將單個文檔構(gòu)建成一個語義復(fù)雜網(wǎng)絡(luò)，將點度中心度與中間中心度結(jié)合，計算綜合特征值提取關(guān)鍵短語，比單獨使用網(wǎng)絡(luò)特征值抽取關(guān)鍵短語的性能有較大提高。這種方法的難點在于網(wǎng)絡(luò)連通性難以確保并且計算量大。針對網(wǎng)絡(luò)連通性難以確保問題，本文提出復(fù)雜網(wǎng)絡(luò)分離的概念，通過廣度搜索算法實現(xiàn)網(wǎng)絡(luò)的連通測試，實現(xiàn)網(wǎng)絡(luò)分離并用實驗數(shù)據(jù)證明復(fù)雜網(wǎng)絡(luò)的分離不僅沒有降低關(guān)鍵短語抽取的準(zhǔn)確率，而且解決了網(wǎng)絡(luò)連通性問題，并提高了抽取效率。針對計算量大的問題，通過網(wǎng)