面向小樣本的文本分類(lèi)模型及算法研究.pdf

1、文本數(shù)據(jù)具有高維稀疏的特征，并且數(shù)據(jù)量也在爆發(fā)式增長(zhǎng)，這給傳統(tǒng)的機(jī)器學(xué)習(xí)算法帶來(lái)了許多困難，具體表現(xiàn)在以下兩方面：其一，對(duì)于分類(lèi)精度較高的分類(lèi)算法，如支持向量機(jī)和人工神經(jīng)網(wǎng)絡(luò)等，大多都因?yàn)橛?xùn)練效率、計(jì)算資源消耗等瓶頸而無(wú)法成功應(yīng)用于海量數(shù)據(jù)挖掘和在線分類(lèi)問(wèn)題；其二，對(duì)于具有線性時(shí)間復(fù)雜度的分類(lèi)算法，如質(zhì)心分類(lèi)器，樸素貝葉斯和邏輯回歸等，其分類(lèi)精度往往較低。因此，本文針對(duì)以上問(wèn)題展開(kāi)了一系列研究，研究?jī)?nèi)容主要包括小樣本數(shù)據(jù)集的提取方法和小

2、樣本數(shù)據(jù)集的分類(lèi)方法。本文中所指的“小樣本”是維度小、數(shù)量小的樣本。首先，本文研究的小樣本提取方法主要包括特征選擇方法和實(shí)例選擇方法，以上方法可以精簡(jiǎn)海量數(shù)據(jù)集，從而有效解決以上第一類(lèi)問(wèn)題；其次，本文研究了面向小樣本的線性分類(lèi)模型，試圖從小樣本數(shù)據(jù)集上學(xué)習(xí)高精度的分類(lèi)器，從而有效解決以上第二類(lèi)問(wèn)題。本文的主要研究?jī)?nèi)容和創(chuàng)新點(diǎn)如下：
　　提出了一種新的統(tǒng)計(jì)指標(biāo)（LW-index）的方法來(lái)評(píng)價(jià)特征子集，進(jìn)而評(píng)估降維算法。本文所提出的方

3、法是一種“經(jīng)典統(tǒng)計(jì)”的方法，基于特征子集計(jì)算經(jīng)驗(yàn)估計(jì)來(lái)評(píng)價(jià)特征子集的質(zhì)量。傳統(tǒng)的特征子集評(píng)估是指將給定的特征子集分解為訓(xùn)練集和測(cè)試集，訓(xùn)練集用于估計(jì)分類(lèi)模型的參數(shù)，而測(cè)試集用于估計(jì)模型預(yù)測(cè)的性能。然后，平均多個(gè)預(yù)測(cè)的結(jié)果，即交叉驗(yàn)證（Cross-Validation，CV）。然而，交叉驗(yàn)證評(píng)估往往是的是非常耗時(shí)的，需要很大的計(jì)算開(kāi)銷(xiāo)。實(shí)驗(yàn)結(jié)果表明本文提出的方法在降維算法評(píng)價(jià)結(jié)果上基本與五折疊交叉驗(yàn)證方法一致，但計(jì)算時(shí)間開(kāi)銷(xiāo)分別是采用SV

4、M（Support Vector Machine）和CBC（Centroid-Based Classifier）分類(lèi)器的1/10和1/2倍。
　　提出了一種基于序列前向搜索（Sequential Forward Search，SFS）策略的特征選擇算法SFS-LW。文本分類(lèi)中的封裝式特征選擇算法（Wapper）篩選出的特征對(duì)于分類(lèi)有較高的價(jià)值，但是其評(píng)價(jià)過(guò)程伴隨著極大的時(shí)間復(fù)雜度。為此，本文將封裝式特征選擇算法中常用的前向序列搜索

5、策略（SFS）與LW指標(biāo)相結(jié)合，提出了一種新的過(guò)濾式算法SFS-LW。實(shí)驗(yàn)結(jié)果表明SFS-LW具有與Wapper方法近似的分類(lèi)精度，但時(shí)間復(fù)雜度則有數(shù)倍的改善，其時(shí)間消耗接近于現(xiàn)有的過(guò)濾式方法。
　　提出了一種線性的自適應(yīng)支持向量選擇算法（Shell Extraction，SE）。針對(duì)傳統(tǒng)分類(lèi)算法無(wú)法應(yīng)用于海量數(shù)據(jù)集的問(wèn)題，本文基于向量空間中樣本分布密度不均衡的特點(diǎn)，研究了向量空間中支持向量的識(shí)別方法，從而實(shí)現(xiàn)了大規(guī)模數(shù)據(jù)集縮減和

6、噪聲過(guò)濾。傳統(tǒng)的實(shí)例選擇算法大多基于最近鄰或聚類(lèi)的方法，由于此類(lèi)方法時(shí)間復(fù)雜度高，同樣面臨無(wú)法應(yīng)用于海量數(shù)據(jù)集的問(wèn)題。實(shí)驗(yàn)結(jié)果表明本文提出的SE算法不僅在精度上超過(guò)了現(xiàn)有算法，并且其執(zhí)行效率遠(yuǎn)高于現(xiàn)有的實(shí)例選擇算法。
　　提出了一種新的分類(lèi)模型，即引力模型（Gravitation Model，GM）。文本分類(lèi)中基于質(zhì)心的分類(lèi)算法憑借其簡(jiǎn)單高效，已成為應(yīng)用最廣泛的文本分類(lèi)算法之一。然而，質(zhì)心分類(lèi)算法的精確度過(guò)于依賴(lài)訓(xùn)練樣本的分布，當(dāng)

7、樣本分布偏斜時(shí)，質(zhì)心分類(lèi)模型不能很好地?cái)M合訓(xùn)練樣本數(shù)據(jù)，因而分類(lèi)效果不理想。本文提出的GM模型可以有效解決質(zhì)心分類(lèi)模型欠擬合問(wèn)題，在模型訓(xùn)練階段，GM為每一個(gè)類(lèi)別定義一個(gè)表征該類(lèi)樣本分布的質(zhì)量因子，該因子可從訓(xùn)練樣本中學(xué)習(xí)得到；在模型測(cè)試階段，GM將未知樣本劃分到對(duì)其最大引力的特定類(lèi)別中。
　　提出了一種基于算術(shù)平均質(zhì)心（Arithmetical Average Centroid，AAC）與隨機(jī)質(zhì)量因子學(xué)習(xí)算法（Stochasti

8、c Learning Mass，SLA）相結(jié)合的GM模型學(xué)習(xí)算法AAC-SLA。實(shí)驗(yàn)結(jié)果表明AAC-SLA算法在精度上持續(xù)優(yōu)于原質(zhì)心分類(lèi)算法，而且達(dá)到了與目前最好的質(zhì)心分類(lèi)器類(lèi)似的性能，同時(shí)具有比它更穩(wěn)定的優(yōu)勢(shì)。
　　提出了基于最小球算法（Minimum Enclosing Ball，MEB）與隨機(jī)質(zhì)量因子學(xué)習(xí)算法（SLA）相結(jié)合的GM模型學(xué)習(xí)算法MEB-SLA。MEB算法可以有效避免類(lèi)別中樣本隨機(jī)分布給算術(shù)平均質(zhì)心位置帶來(lái)的影響

9、，實(shí)驗(yàn)結(jié)果表明MEB-SLA算法要優(yōu)于AAC-SLA算法，并且在小樣本數(shù)據(jù)集上它們都超過(guò)了向量機(jī)。
　　最后，本文利用提出的SFS-LW算法和SE算法生成了特征維數(shù)和樣本數(shù)量同時(shí)為原數(shù)據(jù)集1/10倍的小樣本數(shù)據(jù)集，并采用小樣本數(shù)據(jù)集訓(xùn)練AAC-SLA、MEB-SLA和SVM算法，實(shí)驗(yàn)表明AAC-SLA算法和MEB-SLA算法的學(xué)習(xí)/分類(lèi)精度在大部分?jǐn)?shù)據(jù)集上只有輕微下降，并持續(xù)超過(guò)了SVM算法。
　　本文的研究結(jié)論是：（1）在