基于張量空間模型的文本分類(lèi)研究.pdf

1、互聯(lián)網(wǎng)和信息技術(shù)的飛速發(fā)展所引發(fā)的信息爆炸對(duì)文本分類(lèi)任務(wù)提出了新的挑戰(zhàn)：建立分類(lèi)器時(shí)所獲得的樣本相對(duì)于海量的未知數(shù)據(jù)非常有限，模擬樣本的空間分布變得困難，這可能帶來(lái)過(guò)擬合及數(shù)據(jù)偏斜的問(wèn)題。基于張量的數(shù)據(jù)表示和學(xué)習(xí)方法能減少學(xué)習(xí)模型中的未知參數(shù)，從而能夠降低模型的復(fù)雜性，增強(qiáng)學(xué)習(xí)模型的泛化能力，緩解學(xué)習(xí)任務(wù)中小樣本問(wèn)題。對(duì)于不具有高階特性的數(shù)據(jù)，構(gòu)造基于張量的數(shù)據(jù)表示方法是使用張量統(tǒng)計(jì)學(xué)習(xí)框架的首要步驟。本文對(duì)基于張量空間模型(TSM)的

2、文本分類(lèi)問(wèn)題進(jìn)行了研究，主要工作如下：
　　 (1)在研究支持張量機(jī)學(xué)習(xí)機(jī)制的基礎(chǔ)上，分析和比較了多種TSM文本表示方法，并從理論和實(shí)驗(yàn)兩個(gè)方面解釋了這些方法的局限性。
　　 (2)提出兩種基于張量的文本表示方法隨機(jī)映射TSM(RM_TSM)和小類(lèi)隨機(jī)映射TSM(SRM_TSM)，實(shí)驗(yàn)結(jié)果表明RM_TSM和SRM_TSM在小樣本數(shù)據(jù)集上的表現(xiàn)優(yōu)于其他的TSM文本表示方法。
　　 (3)將STM引入到多類(lèi)分類(lèi)方法中