基于類別結(jié)構(gòu)的文本層次分類方法研究.pdf

1、文本分類是文本數(shù)據(jù)挖掘中的一項關(guān)鍵技術(shù)，其主要任務(wù)是在預(yù)先給定的類別標(biāo)記集合下，根據(jù)文本內(nèi)容利用有監(jiān)督學(xué)習(xí)的方法判定它的類別。文本分類在自然語言處理、信息組織與管理等領(lǐng)域都有著廣泛地應(yīng)用。但是，近年來文本分類的類別規(guī)模越來越龐大，如YahoolDirectory、Open DirectProject(ODP)等都已經(jīng)有成千上萬個類別，如果把這些類別并列組織，那么將一個文本進(jìn)行正確分類的難度非常大，同時用戶從中找到感興趣的類別也需要花費大

2、量的時間。因此，現(xiàn)實生活中的分類體系往往將類別組織成層次結(jié)構(gòu)。由于這種層次結(jié)構(gòu)經(jīng)常以樹的形式，因此被稱作“類樹”?；谶@種類樹結(jié)構(gòu)，研究者們引入了層次型文本分類方法，它不但能夠符合用戶的行為習(xí)慣，方便用戶檢索、瀏覽文檔，而且可以通過限制搜索范圍減少分類過程中的計算量，提高分類質(zhì)量。由于在層次型文本分類中，類別被組織成層次結(jié)構(gòu)，在某一層中對類別有較好區(qū)分作用的特征詞可能在其他層中對類別的區(qū)分作用不大，而且在能減少阻滯的閾值降低策略中，閾值

3、降低的度一直很難把握；而在類樹中不僅各個類別之間存在著一定的聯(lián)系，其訓(xùn)練樣本之間也都存在著一定的聯(lián)系，這些在層次分類的特征選擇、層次分類模型的訓(xùn)練以及分類器閾值的確定方面都是不可忽視的因素。相對于爆發(fā)式方法，自頂向下式層次分類方法由于能夠更好的利用層次結(jié)構(gòu)所提供的信息而備受關(guān)注，然而這種方法卻存在著“阻滯”問題，而且由于分類器自身性能的限制，“阻滯”問題又是不可避免的，那么，如何利用這些類樹和樣本的層次結(jié)構(gòu)信息和“阻滯”問題中攜帶的一些

4、隱含信息來減少“阻滯”帶來的影響，提高分類質(zhì)量仍然是一個值得研究的課題。本研究主要內(nèi)容包括：
　　 ⑴提出了一種面向?qū)哟畏诸惖奈谋咎卣鬟x擇方法。在借鑒已有的特征選擇方法的基礎(chǔ)上，提出了一種面向?qū)哟畏诸惖奈谋咎卣鬟x擇方法。首先根據(jù)類別在類樹中的語義關(guān)系給出了類別層次相關(guān)和類別層次不相關(guān)的概念，并根據(jù)類樹的層次結(jié)構(gòu)和各類別的訓(xùn)練樣本的分布情況，提出了一種利用數(shù)學(xué)手段進(jìn)行度量的方法；然后，考慮到各層次的訓(xùn)練樣本對特征詞的類別區(qū)分能力的

5、不同貢獻(xiàn)和類別之間的層次相關(guān)性，根據(jù)提出的類別層次相關(guān)度的計算方法，可以為類樹中每個類別根據(jù)其所在層次賦予不同的重要度；再利用概率的方法獲得特征詞的類別相關(guān)性；最后，基于前面的結(jié)果，計算每個特征對類別的識別能力。實驗結(jié)果表明：該方法不管在選取的特征質(zhì)量上還是在accuracy、F1和micro-Precision等分類測度上均優(yōu)于傳統(tǒng)方法。本部分的創(chuàng)新點：；根據(jù)類樹的層次結(jié)構(gòu)特點和各層次的訓(xùn)練樣本對特征詞的類別區(qū)分能力的不同貢獻(xiàn)，為在類

6、樹中構(gòu)建的每個分類器選擇不同的特征詞進(jìn)行特征表示，為層次分類的特征選擇開辟了一個新的思路。
　　 ⑵提出了一種基于類樹全局信息的文本層次分類方法。在自頂向下式層次分類過程中，由于“阻滯”現(xiàn)象的存在，使得在上層分類器中產(chǎn)生的錯誤分類將會在下層分類器中得到進(jìn)一步增強(qiáng)，根據(jù)這一特點，定義了一種新的層次損失函數(shù)，可以對產(chǎn)生阻滯的分類器根據(jù)其所在的層次以及其影響范圍給予不同的懲罰。以該層次損失函數(shù)最小化為目標(biāo)，將“阻滯”現(xiàn)象中的一些隱含信

7、息以及類樹中類別和樣本的層次結(jié)構(gòu)信息引入boosting方法的框架中，通過調(diào)整各迭代過程中訓(xùn)練樣本的質(zhì)量來改進(jìn)分類模型的質(zhì)量，最后將在各個迭代過程中構(gòu)建的分類器進(jìn)行組合來建立一個更好的層次分類模型，以減少在高層結(jié)點上“阻滯”現(xiàn)象的產(chǎn)生，實現(xiàn)改善層次分類整體性能的目的。實驗結(jié)果表明：訓(xùn)練出來的分類器在accuracy、precision、recall、F1和microPrecicion等分類測度上均優(yōu)于傳統(tǒng)的AdaBoost方法；同時也說

8、明“阻滯”現(xiàn)象中所隱含的一些信息對訓(xùn)練層次分類器有一定的作用，可以在一定程度上提高層次分類的分類效果，減少在上層發(fā)生阻滯的機(jī)會，為以后對“阻滯”信息的使用提供了一定的借鑒作用。本部分的創(chuàng)新點：將層次型文本分類引入boosting框架中，并能結(jié)合層次型文本分類中類別和文檔的層次結(jié)構(gòu)信息以及發(fā)生“阻滯”時的一些隱含信息，提出一種新的層次損失函數(shù)和調(diào)整各訓(xùn)練樣本權(quán)重的方法，以改進(jìn)層次分類模型的質(zhì)量，提高層次分類的整體性能。
　　 ⑶提

9、出了一種基于回溯算法的文本層次分類方法。考慮到不同層次的訓(xùn)練樣本對特征詞區(qū)分作用的不同貢獻(xiàn)，我們將信息增益方法和文檔的層次信息相結(jié)合進(jìn)行特征選擇，使得選取的特征詞能更符合層次分類的特點。在能減少阻滯的閾值降低策略中，閾值降低的度一直很難把握。為了給每個分類器確定一個合適的閾值，通過對訓(xùn)練樣本在各類中分布的特點進(jìn)行分析，結(jié)合類別之間的關(guān)系，將在某類別結(jié)點上構(gòu)建的分類器的訓(xùn)練樣本分成三個子集對KNN分類器進(jìn)行訓(xùn)練，使類樹中的每個分類器都能獲

10、得一個閾值的取值范圍，為閾值的選擇提供了一定的依據(jù)。然后，利用回溯方法，獲得文檔的候選類別集合，最后利用文檔與候選類別質(zhì)心之間距離的遠(yuǎn)近來確定文檔的最后類別。實驗結(jié)果表明：該方法可以減少上層阻滯的發(fā)生，其整體分類效果要優(yōu)于KNN方法。本部分的創(chuàng)新點：根據(jù)類別和樣本的層次分布特點，對信息增益特征選擇方法進(jìn)行了適當(dāng)?shù)母倪M(jìn)，使選擇的特征詞能更適合層次分類的特點；在閾值降低策略的基礎(chǔ)上，通過分析層次型文本分類中各類別的訓(xùn)練樣本的分布特點，結(jié)合K

11、NN分類方法，提出了一種新的確定各結(jié)點閾值取值范圍的方法。并結(jié)合回溯方法對文檔進(jìn)行層次分類獲得文檔的候選類別集合，最終根據(jù)文檔和候選類別的質(zhì)心之間的距離遠(yuǎn)近決定文檔的最終類別。
　　 綜上所述，本文主要圍繞類別組成的層次結(jié)構(gòu)進(jìn)行展開，根據(jù)層次型文本分類的特點，在層次型文本分類的特征選擇、“阻滯”信息的使用以及減少“阻滯”的策略方面做了更進(jìn)一步研究，并通過實驗進(jìn)行了驗證。本文的研究豐富和完善了層次型文本分類的內(nèi)容，為更好的使用類樹