基于選擇性集成的半監(jiān)督中文文本分類研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，文本數(shù)據(jù)每年正以指數(shù)級的速度增長，文本分類作為處理文本數(shù)據(jù)的重要技術(shù)之一也變得越來越重要。傳統(tǒng)的文本分類方法一般都是基于有監(jiān)督學(xué)習(xí)的，為了訓(xùn)練出一個好的分類器需要大量的有標(biāo)注文本。而在現(xiàn)實(shí)中，有標(biāo)注文本數(shù)遠(yuǎn)小于未標(biāo)注文本數(shù)，如果僅用少量的有標(biāo)注文本來訓(xùn)練分類器，不但得到的分類器性能較差，還會錯失未標(biāo)注文本中隱含的信息，造成資源的浪費(fèi)。因此，如何合理有效地運(yùn)用這部分?jǐn)?shù)據(jù)成為重中之重。
　　本文首先對現(xiàn)有用于文本

2、分類的算法進(jìn)行闡述，指出其優(yōu)勢及缺陷。針對有標(biāo)注文本不足，以及分類器性能難以有效提升等問題，本文以NB分類器為基礎(chǔ)分類器，并結(jié)合Bagging算法、EM算法以及選擇性集成方法，提出基于Bagging算法的EM選擇性集成學(xué)習(xí)方法，通過設(shè)計(jì)模擬實(shí)驗(yàn)證明了該方法的可行性及有效性。然后將該方法用于處理中文文本分類實(shí)際問題。實(shí)證結(jié)果表明:1.將EM算法應(yīng)用于文本分類，可以克服有標(biāo)注訓(xùn)練文本不足的缺陷，提高NB分類器的分類性能，但是相比某些有監(jiān)督學(xué)