基于半監(jiān)督學(xué)習(xí)的短文本分類研究.pdf

1、在即時(shí)通信和互聯(lián)網(wǎng)技術(shù)的快速發(fā)展中，網(wǎng)絡(luò)中的信息每天都在以飛快的速率增長著，各種類型社交網(wǎng)絡(luò)的出現(xiàn)使得短文本信息正在迅速占領(lǐng)我們的視野，這種文本一般的長度為160個(gè)字左右，并且種類繁多，常常以口語化、網(wǎng)絡(luò)化的不規(guī)則形式出現(xiàn)。長度短，信息量少是這類短文本的主要特點(diǎn)，但是這些文本可能攜帶著很多有價(jià)值的信息內(nèi)容，所以對(duì)短文本進(jìn)行優(yōu)良的的組織分類是值得研究的。傳統(tǒng)的文本分類方法大多是以長文本作為對(duì)象進(jìn)行研究的，如果直接套用于短文本將會(huì)影響分類取

2、得的效果。此外，獲取用于構(gòu)建傳統(tǒng)文本分類器的已標(biāo)注樣本是由人工進(jìn)行標(biāo)注的，不但耗時(shí)而且耗力，還易形成標(biāo)注瓶頸，與之相比，大量的無標(biāo)注樣本的獲取卻是比較容易的。
　　傳統(tǒng)基于監(jiān)督學(xué)習(xí)的分類方法，只是利用了數(shù)據(jù)樣本集合中的已標(biāo)注樣本，而沒有關(guān)注無標(biāo)注樣本自身所包含的信息，沒有能很好地發(fā)掘出可能隱藏的信
　　息。半監(jiān)督學(xué)習(xí)方法是將已標(biāo)注的小量樣本與未經(jīng)標(biāo)注的大量樣本相結(jié)合來進(jìn)行訓(xùn)練，從而使無標(biāo)注部分能被充分地利用，文本分類器性能得

3、到有效地改善，于是這類的方法也逐步受到人們的廣泛關(guān)注。
　　根據(jù)短文本的獨(dú)特之處，本文對(duì)短文本分類技術(shù)進(jìn)行了如下幾點(diǎn)研究：
　　1.前期查閱資料過程中，總結(jié)了短文本分類的研究意義以及國內(nèi)外研究現(xiàn)狀，對(duì)短文本的特點(diǎn)，半監(jiān)督學(xué)習(xí)，短文本研究的領(lǐng)域，幾種基于圖的半監(jiān)督學(xué)習(xí)算法以及文本分類的評(píng)價(jià)指標(biāo)等幾個(gè)方面進(jìn)行了簡要的闡述。
　　2.提出一種受限約束選擇算法。該算法利用相似性矩陣計(jì)算得出概率轉(zhuǎn)移矩陣，進(jìn)而由概率轉(zhuǎn)移矩陣得出受

4、限約束范圍。確定標(biāo)記頂點(diǎn)的約束范圍，避免了窮舉帶來的時(shí)間和效率上的浪費(fèi)。
　　3.提出一種利用受限約束進(jìn)行標(biāo)簽傳播的半監(jiān)督學(xué)習(xí)方法。在受限約束選擇算法的前提下結(jié)合標(biāo)簽傳播算法對(duì)標(biāo)簽進(jìn)行有效傳播。本文算法避免了傳播路徑單一帶來的的分類結(jié)果不精確的問題，并且在大規(guī)模數(shù)據(jù)上也能取得較好的分類結(jié)果。
　　4.通過實(shí)驗(yàn)證明了該算法在短文本分類上的有效性。首先使用基于模糊熵的特征選擇方法對(duì)短文本數(shù)據(jù)進(jìn)行特征提取，其次結(jié)合利用受限約束進(jìn)行