中文文本分類中特征選擇算法及分類算法的研究.pdf

1、近年來，隨著信息技術(shù)的迅速發(fā)展，特別是 Internet的普及，網(wǎng)頁上的電子文本信息急劇增加，如何有效地組織和管理這些海量信息，并且能夠快速、準確地獲得用戶所需要的信息是當今信息資源管理技術(shù)領(lǐng)域的一大挑戰(zhàn)。通過文本自動分類技術(shù)的使用，可以使電子文本信息自動的按照類別的方式進行組織和管理，滿足人們方便快捷的信息處理需求，準確定位所需信息資源。
　　本文從分詞算法，特征選擇算法和文本分類算法三個方面對文本分類進行深入研究。
　　

2、首先，通過分析預(yù)處理中中文文本分類的特點，中文文本向量空間模型表示法，和兩種機械的分詞方法，在算法的詞典結(jié)構(gòu)、算法的匹配方式、算法對歧義詞的處理策略和算法識別未登錄詞的策略上改進了分詞方法，并進行了實驗驗證。
　　其次，在文本預(yù)處理的基礎(chǔ)上，為了進一步提高特征項對類別的區(qū)分能力，本文分析了基于絕對比例區(qū)分(CPD)的特征選擇算法，分別在特征項的頻度和特征項的冗余兩個方面進行改進，提出了改進的CPD特征選擇算法，并通過實驗進行比較驗