基于聚類樹的多類標(biāo)文本分類算法研究.pdf

1、文本分類技術(shù)是解決由于互聯(lián)網(wǎng)的迅猛發(fā)展而導(dǎo)致人們面臨“信息爆炸而知識(shí)匱乏”問題的有效手段。文本分類往往是屬于多類標(biāo)分類,即單篇文章屬于一個(gè)或以上的類別。多類標(biāo)問題是傳統(tǒng)機(jī)器學(xué)習(xí)算法不能解決的,同時(shí)因?yàn)槲谋緮?shù)據(jù)的特殊性,業(yè)已開發(fā)的多類標(biāo)分類算法不能很好地應(yīng)用于文本數(shù)據(jù)。如何更好地解決多類標(biāo)文本分類問題是本文的核心議題。本文的具體工作如下:
　　(1)全面總結(jié)了現(xiàn)有的文本處理技術(shù),多類標(biāo)分類方法及其優(yōu)勢劣勢,多類標(biāo)數(shù)據(jù)集的度量準(zhǔn)則和算

2、法驗(yàn)證準(zhǔn)則。
　　(2)深入分析并總結(jié)出多類標(biāo)文本數(shù)據(jù)的關(guān)鍵特點(diǎn)。通過對傳統(tǒng)文本數(shù)據(jù)的分析及多類標(biāo)數(shù)據(jù)的度量特點(diǎn),推導(dǎo)出多類標(biāo)文本數(shù)據(jù)普遍存在“一高兩疏”的特點(diǎn)——高維、特征空間和類標(biāo)空間稀疏。
　　(3)提出了解決多類標(biāo)文本數(shù)據(jù)的思路。根據(jù)多類標(biāo)文本數(shù)據(jù)的關(guān)鍵特點(diǎn),提出對特征空間和類標(biāo)空間的劃分,通過構(gòu)造不同子空間及其專注的問題,迭代解決多類標(biāo)文本分類問題是一個(gè)好的思路;也就是說,通過把原問題劃分為若干個(gè)子問題,子問題之間

3、相互協(xié)作,尋找最優(yōu)解。
　　(4)提出了全新的多類標(biāo)分類算法——多類標(biāo)聚類樹算法。多類標(biāo)聚類樹算法是根據(jù)解決多類標(biāo)文本文類問題的指導(dǎo)思想,結(jié)合傳統(tǒng)單類標(biāo)聚類樹算法的特點(diǎn),通過迭代調(diào)用“基于類標(biāo)信息的聚類算法”將兩空間依樹的生長不斷劃分,直至空間足夠簡單為止。
　　(5)提出了全新的基于問題轉(zhuǎn)化的多類標(biāo)分類方法——類標(biāo)掩蓋樹。類標(biāo)掩蓋樹是通過樹形結(jié)構(gòu)和類標(biāo)掩蓋手段,把多類標(biāo)問題轉(zhuǎn)化為一系列層次分明,相互協(xié)作的多類別分類問題,進(jìn)