基于W-BTM的短文本主題挖掘及文本分類應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)和各類社交網(wǎng)站以及電子商務(wù)的快速興起，以文本信息為代表的非結(jié)構(gòu)化信息大量涌現(xiàn)，從中挖掘出有價(jià)值的信息變得越來(lái)越重要，但同時(shí)復(fù)雜的語(yǔ)義也使得信息價(jià)值的提取變得越來(lái)越困難。尤其是短文本信息，其稀疏性和不完整性也給文本挖掘帶來(lái)了新的巨大挑戰(zhàn)。因此，對(duì)于文本信息挖掘的研究逐步轉(zhuǎn)向了對(duì)于短文本信息挖掘的研究。
　　BTM是一個(gè)針對(duì)短文本的主題挖掘模型，在處理短文本的稀疏性和不完整性問(wèn)題上相對(duì)于其它主題模型有很大的優(yōu)勢(shì)。但包括BTM

2、模型在內(nèi)的現(xiàn)有文本挖掘模型，模型中都沒(méi)有特殊的參數(shù)設(shè)置等對(duì)其進(jìn)行處理，只是在數(shù)據(jù)預(yù)處理時(shí)加載停用詞表對(duì)其進(jìn)行刪除操作。而不同的語(yǔ)料選擇會(huì)有差異性，千篇一律的使用同樣的停用詞表并不具有科學(xué)性。因此，對(duì)于不同的語(yǔ)料集，應(yīng)該找出可以反映其文本特征的停用詞。
　　基于對(duì)上述短文本特點(diǎn)和停用詞處理的考慮，以差異系數(shù)作為權(quán)重模型，表示文本中詞語(yǔ)的權(quán)重，然后將其作為BTM模型的一個(gè)參數(shù)形成最終的W-BTM模型，從而消除短文本和停用詞對(duì)文本主題挖

3、掘的影響。模型中使用吉布斯抽樣對(duì)參數(shù)進(jìn)行估計(jì)，從潛在變量的先驗(yàn)分布中抽樣，對(duì)后驗(yàn)參數(shù)進(jìn)行估計(jì)。最后將模型應(yīng)用于當(dāng)當(dāng)網(wǎng)圖書簡(jiǎn)介數(shù)據(jù)，使用支持向量機(jī)對(duì)W-BTM模型產(chǎn)生的結(jié)果矩陣進(jìn)行分類，并對(duì)比不同模型的分類結(jié)果，證明W-BTM模型的優(yōu)越性。
　　W-BTM模型在整個(gè)語(yǔ)料集中尋找“詞對(duì)”的前提是“詞對(duì)”中每個(gè)詞在整個(gè)文檔中的權(quán)重即差異系數(shù)已知。在這種情況下，“詞對(duì)”有了更深層次的含義，它不再只是單一的表示文檔中同時(shí)出現(xiàn)的兩個(gè)詞語(yǔ)，而且

4、還代表著詞語(yǔ)本身的性質(zhì)，即是否為停用詞。這就可以消除停用詞的不恰當(dāng)選擇對(duì)于文本信息挖掘準(zhǔn)確性的影響。
　　為了驗(yàn)證W-BTM的有效性和科學(xué)性，以LDA模型和BTM模型做對(duì)比進(jìn)行文本分類實(shí)驗(yàn)和應(yīng)用，從主題挖掘和文本分類兩個(gè)角度對(duì)整個(gè)的實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)價(jià)，最終證明了W-BTM模型的分類效果優(yōu)于LDA模型和BTM模型。
　　本文的創(chuàng)新之處如下：
　?。?）對(duì)于停用詞的處理，拋棄傳統(tǒng)的選擇停用詞表并將停用詞直接去除的方法，而是使

5、用權(quán)重模型取而代之，使得文本挖掘的結(jié)果更加科學(xué)和準(zhǔn)確。
　　（2）將權(quán)重模型與BTM模型相結(jié)合，形成新的主題模型W-BTM，既可以用于短文本的分類，解決短文本的稀疏性問(wèn)題，也彌補(bǔ)了數(shù)據(jù)預(yù)處理時(shí)停用詞處理的漏洞。
　　（3）將W-BTM模型應(yīng)用于當(dāng)當(dāng)網(wǎng)圖書簡(jiǎn)介分類，賦予模型更加實(shí)際的現(xiàn)實(shí)意義。通過(guò)對(duì)數(shù)據(jù)不平衡性的處理、W-BTM模型的使用以及支持向量機(jī)對(duì)于文本-主題矩陣的分類，最終驗(yàn)證了W-BTM模型的有效性。針對(duì)分類結(jié)果，將