基于機器學習的文本分類算法研究.pdf

1、隨著計算機技術(shù)、數(shù)據(jù)庫技術(shù)、網(wǎng)絡技術(shù)的飛速發(fā)展和Internet的日益普及，在現(xiàn)實生活中，每一個領(lǐng)域都不斷產(chǎn)生海量數(shù)據(jù)和信息，特別是海量的文本數(shù)據(jù)。如何自動將這些文本數(shù)據(jù)進行分類整理，挖掘出有效信息，給人們有效利用，成為一個日趨重要的問題。因此，文本數(shù)據(jù)挖掘作為一門新興學科，逐漸成為了一門引人注目、發(fā)展迅速的領(lǐng)域。 文本分類是文本數(shù)據(jù)挖掘中的一個基本技術(shù)，其作用是根據(jù)文本的各項特征判斷其所屬的預先設計的類別。它在自然語言處理與理

2、解、信息組織與管理、內(nèi)容信息過濾等領(lǐng)域具有非常廣泛的應用。早期的文本分類采用的是基于知識工程和專家系統(tǒng)的方法，可是這樣的方法非常復雜和缺乏靈活性。隨著機器學習的興起和發(fā)展，很多機器學習的分類器模型被引入的文本分類領(lǐng)域中，從不同的方面取得了不錯的效果。 目前，各種文本分類算法都在一定的領(lǐng)域里有好的效果，但都不能成為通用方法，因此，如何對現(xiàn)有的文本分類算法進行評估也是一個非常重要的問題。分類的精度是已經(jīng)被廣泛用于評估文本分類算法性能

3、的主要度量標準之一，但是，當要處理的類分布不均勻或者分類出錯的代價不相同時，精度的局限性就顯示出來了。在這種情況下，AUC基于機器學習的文本分類算法研究被提出作為一個新的評估文本分類算法性能的度量標準。已有研究表明，AUC比精度的健壯性要好，而且有它特有的排序評測功能。這樣，原有的分類算法在新的評估標準下是否和原來一樣有效，是一個值得關(guān)注的問題。由于新的標準的提出，目前還沒有完整的實驗對原有文本分類算法進行評測。本文將采用統(tǒng)一的文本基準