基于機(jī)器學(xué)習(xí)的中文文本主題分類及情感分類研究.pdf

1、隨著計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)、數(shù)據(jù)庫技術(shù)的快速發(fā)展與普及應(yīng)用，網(wǎng)絡(luò)信息爆炸式增長(zhǎng)，而其中絕大部分信息以文本形式存在。如何從這海量的信息中快速高效的獲取數(shù)據(jù)，成為信息處理領(lǐng)域亟待解決的問題。文本自動(dòng)分類技術(shù)作為處理和組織大量文本數(shù)據(jù)的關(guān)鍵技術(shù)應(yīng)運(yùn)而生并取得了快速的發(fā)展。
　　基于主題的文本分類是根據(jù)文本的內(nèi)容將文本劃分到預(yù)先定義好的類別中去。機(jī)器學(xué)習(xí)方法由于其自身的靈活性并能夠取得較好的分類效果，因此在文本分類中得到了廣泛的應(yīng)用。機(jī)器學(xué)

2、習(xí)方法要經(jīng)過文本的預(yù)處理，特征選擇，特征加權(quán)，訓(xùn)練分類器并進(jìn)行分類等過程。特征加權(quán)是文本分類中的重要環(huán)節(jié)，對(duì)文本的分類性能有直接的影響。通過考察傳統(tǒng)的特征選擇函數(shù)，發(fā)現(xiàn)互信息方法在特征加權(quán)過程中表現(xiàn)尤為突出。為了提高互信息方法在特征加權(quán)時(shí)的性能，加入了詞頻信息、文檔頻率信息以及類別相關(guān)度因子，提出了一種基于改進(jìn)的互信息特征加權(quán)方法，實(shí)驗(yàn)表明，該方法比傳統(tǒng)的特征加權(quán)方法TFIDF具有更好的分類性能。
　　情感分類是文本分類的重要分支

3、，它已經(jīng)逐漸成為了信息檢索和自然語言處理領(lǐng)域的熱點(diǎn)研究問題。機(jī)器學(xué)習(xí)方法同樣適用于文本的情感分類，但是其效果卻與傳統(tǒng)的基于主題的文本分類有所不同。本文選用了在網(wǎng)絡(luò)上被廣泛使用的中文情感分類數(shù)據(jù)集，采用機(jī)器學(xué)習(xí)方法，對(duì)比分析了在機(jī)器學(xué)習(xí)的各個(gè)過程中不同方法對(duì)情感分類性能的影響。
　　由于情感分類的語料更加復(fù)雜多變，傳統(tǒng)的機(jī)器學(xué)習(xí)方法很難在情感分類中取得較高的性能。本文通過對(duì)評(píng)論性文本的分析，結(jié)合基于詞典和規(guī)則的方法將文本劃分成情感句