基于One-class SVM的多球體文本聚類(lèi)算法研究.pdf

1、在如今信息爆炸的互聯(lián)網(wǎng)時(shí)代，隨著web文本數(shù)量的規(guī)模不斷增大，人們要從這些海量的文本信息中快速有效地找到自己想要的信息，僅靠人工的分類(lèi)方法是行不通的，而文本聚類(lèi)技術(shù)正好憑借其優(yōu)秀的文本自動(dòng)化分類(lèi)能力為此提供了解決之道。
　　研究表明，傳統(tǒng)的基于劃分的聚類(lèi)算法比如K-均值算法，存在以下兩個(gè)缺點(diǎn)：第一是不能很好地識(shí)別非球狀或者大小各異的聚類(lèi)簇；第二是對(duì)預(yù)先設(shè)定的聚類(lèi)數(shù)目K值敏感。
　　針對(duì)第一個(gè)問(wèn)題，本文采用了一個(gè)核方法，也稱(chēng)為

2、One-class SVM，它通過(guò)一個(gè)核函數(shù)，在輸入空間和特征空間之間建立一個(gè)非線性映射，通過(guò)計(jì)算得到一個(gè)半徑最小的且包含該類(lèi)所有數(shù)據(jù)點(diǎn)的超球體，超球體的球面就是聚類(lèi)邊界，邊界上的數(shù)據(jù)點(diǎn)稱(chēng)為該聚類(lèi)簇的支持向量，這些支持向量就代表了一個(gè)聚類(lèi)簇。其實(shí)，One-class SVM可以看成為一個(gè)二值分類(lèi)器，但是，實(shí)際遇到的問(wèn)題大部分屬于多值分類(lèi)情況，為此，本文通過(guò)構(gòu)造K(K為聚類(lèi)數(shù))個(gè)One-class SVM分類(lèi)器，來(lái)解決多分類(lèi)問(wèn)題。

3、　　針對(duì)第二個(gè)問(wèn)題，本文將核方法運(yùn)用到CDBW評(píng)價(jià)函數(shù)，引入了一個(gè)基于核方法的評(píng)價(jià)函數(shù) KCDBW，動(dòng)態(tài)地對(duì)每次聚類(lèi)結(jié)果進(jìn)行評(píng)價(jià)，并記錄最優(yōu)聚類(lèi)結(jié)果，以找到最優(yōu)的聚類(lèi)數(shù)目。
　　基于以上兩點(diǎn)，本文設(shè)計(jì)了一種新型的基于核方法的動(dòng)態(tài)劃分文本聚類(lèi)方法，即基于One-class SVM的多球體文本聚類(lèi)算法，它的主要思想是：首先采用LSA，即潛在語(yǔ)義分析方法來(lái)縮減文本向量空間模型維數(shù)，其次，采用One-class SVM對(duì)每個(gè)聚類(lèi)簇進(jìn)行訓(xùn)練

4、，得到相應(yīng)的支持向量機(jī)模型，并利用聚類(lèi)評(píng)價(jià)函數(shù)KCDBW指導(dǎo)文本聚類(lèi)，最終得到最優(yōu)的聚類(lèi)數(shù)目。
　　為了評(píng)判本文給出的一種基于核方法的動(dòng)態(tài)劃分文本聚類(lèi)算法的聚類(lèi)效果，本文首先設(shè)計(jì)實(shí)現(xiàn)了一個(gè)實(shí)驗(yàn)平臺(tái)，然后在三種數(shù)據(jù)集包括人工數(shù)據(jù)集，UCI數(shù)據(jù)集以及搜狗文本數(shù)據(jù)集上，分別使用了本文方法和傳統(tǒng)的聚類(lèi)算法對(duì)其進(jìn)行了聚類(lèi)實(shí)驗(yàn)，最終的實(shí)驗(yàn)數(shù)據(jù)說(shuō)明了本文設(shè)計(jì)的一種基于核方法的聚類(lèi)評(píng)價(jià)函數(shù)KCDBW對(duì)聚類(lèi)過(guò)程具有很好的指導(dǎo)意義，本文給出的一種基于