基于云平臺(tái)的文本特征選擇算法研究.pdf

1、近來(lái)伴隨互聯(lián)網(wǎng)信息技術(shù)和產(chǎn)業(yè)鏈迅猛發(fā)展，各行業(yè)數(shù)據(jù)規(guī)模均呈現(xiàn)指數(shù)級(jí)增長(zhǎng)，尤其以電商和社交網(wǎng)絡(luò)為服務(wù)內(nèi)容的企業(yè)數(shù)據(jù)中心。盡管數(shù)據(jù)量規(guī)模巨大，方便基本事務(wù)都有跡可循，但數(shù)據(jù)結(jié)構(gòu)混亂，大規(guī)模數(shù)據(jù)沒(méi)有合理得被分門歸類，導(dǎo)致隱含的價(jià)值無(wú)法被提取，因而容易陷入面對(duì)茫茫數(shù)據(jù)而無(wú)計(jì)可施的困境。
　　怎么從龐大文本數(shù)據(jù)集中獲取有價(jià)值的信息，已經(jīng)成為研究人員探索的熱點(diǎn)。以機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘和自然語(yǔ)言處理為基礎(chǔ)的文本分類可以把不規(guī)則的數(shù)據(jù)根據(jù)給定的算法

2、分門歸類，其作為核心技術(shù)，能夠從海量文本數(shù)據(jù)集中獲取所需信息。經(jīng)分析調(diào)研，文本分類不同的階段對(duì)最終文本分類的效果有著不同程度的影響，尤其是特征選擇環(huán)節(jié)更是起著決定性的作用，同時(shí)特征選擇也能夠有效一定程度上解決高維稀疏引發(fā)的高計(jì)算復(fù)雜度和低分類精度問(wèn)題。
　　所以，本文以特征選擇展開(kāi)研究，針對(duì)經(jīng)典文本特征選擇算法沒(méi)有對(duì)類內(nèi)文檔特征詞頻度、類間集中度、類內(nèi)分散度的綜合衡量，提出了基于卡方統(tǒng)計(jì)(CHI)和互信息(MI)的改進(jìn)型組合特征選

3、擇算法CHMI，并在公開(kāi)中文語(yǔ)料庫(kù)上和經(jīng)典文本特征選擇算法做了對(duì)比，驗(yàn)證了CHMI較經(jīng)典算法在分類效果上有所提高。
　　雖然本文提出的CHMI算法在文本分類效果上較經(jīng)典特征選擇算法具有一定的優(yōu)勢(shì)，但是面對(duì)龐大的數(shù)據(jù)集，該算法還是無(wú)法解決自身算法復(fù)雜度高而引發(fā)的時(shí)間消耗和空間消耗大的問(wèn)題。
　　因此本文將CHMI算法和Hadoop云平臺(tái)下的MapReduce模型相結(jié)合，提出了基于云平臺(tái)的文本特征選擇算法MRCHMI，實(shí)驗(yàn)驗(yàn)證了