決策樹設(shè)計(jì)及集成技術(shù)研究.pdf

1、數(shù)據(jù)挖掘是指從數(shù)據(jù)庫中抽取隱含的、具有潛在使用價(jià)值信息的過程，是一種新型的數(shù)據(jù)分析技術(shù)。數(shù)據(jù)分類是數(shù)據(jù)挖掘中一個(gè)重要的內(nèi)容。分類存在很多方法，其中決策樹算法以其易于提取顯式規(guī)則、計(jì)算量相對(duì)較小、可以顯示重要的決策屬性和較高的分類準(zhǔn)確率等優(yōu)點(diǎn)而得到廣泛的應(yīng)用。
　　 然而決策樹算法是不穩(wěn)定的，為了提高決策樹的分類性能，本文引入了集成學(xué)習(xí)技術(shù)。集成學(xué)習(xí)是一種新的機(jī)器學(xué)習(xí)范式，它使用多個(gè)分類器來解決同一個(gè)問題，能夠顯著地提高學(xué)習(xí)系統(tǒng)的

2、泛化能力。因此從20世紀(jì)90年代開始，對(duì)集成學(xué)習(xí)理論和算法的研究成為機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)熱點(diǎn)。
　　 本文圍繞決策樹和集成學(xué)習(xí)理論進(jìn)行了相關(guān)的研究，主要研究工作包括：
　　 1.ID3算法是最具有影響的一種決策樹生成算法。該算法根據(jù)屬性的信息增益來選擇分裂屬性，但是易偏向于選擇屬性值個(gè)數(shù)較多的屬性，而屬性值個(gè)數(shù)多的屬性卻并不一定是最優(yōu)的分裂屬性。為了克服ID3算法的不足，將熵均值決策與樣本分布決策進(jìn)行了融合，本文提出了一種

3、新的決策樹構(gòu)造算法MIDT(MultipleInformation Decision Tree)。實(shí)驗(yàn)表明，MIDT算法在分類正確率和穩(wěn)定性上優(yōu)于ID3算法和參數(shù)估計(jì)決策樹算法。
　　 2.單變量決策樹算法造成樹的規(guī)模龐大，規(guī)則復(fù)雜，不易理解，而多變量決策樹是一種有效用于分類的數(shù)據(jù)挖掘方法，構(gòu)造的關(guān)鍵是根據(jù)屬性之間的相關(guān)性選擇合適的屬性組合構(gòu)成一個(gè)新的屬性作為節(jié)點(diǎn)。結(jié)合粗糙集原理中的知識(shí)依賴性度量和信息系統(tǒng)中條件屬性集的離散度概

4、念，提出了一種多變量決策樹的構(gòu)造算法DTRD(Decision Tree based on Rough set and Dispersion degree)。在UCI上部分?jǐn)?shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明，我們提出的多變量決策樹算法的分類性能與傳統(tǒng)的ID3算法以及基于核方法的多變量決策樹的分類效果相比，有一定的提高。
　　 3.集成成員分類器之間要有一定的差異性，否則集成在一起意義不大。由于差異性度量沒有統(tǒng)一的定義，研究人員提出了多種不同的

5、差異性度量方法。我們?cè)诜治龀Ｓ玫牟町愋远攘炕A(chǔ)上，提出了一種新的分類器差異性度量方法CDEC(Correctresults，Disagreement and Exponential Count of errorS)。綜合考慮了集成中兩個(gè)分類器對(duì)模式分類一致正確、分類不一致情況，同時(shí)抑制了分類器同時(shí)發(fā)生分類錯(cuò)誤的情況，并以此為基礎(chǔ)提出了一種新的分類器選擇性集成方法。在UCI上部分?jǐn)?shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明，CDEC能有效的度量分類器之間的差異性

6、，并能較好的用于選擇性集成中成員分類器的選擇過程。
　　 4.AdaBoost算法對(duì)噪聲很敏感，在訓(xùn)練樣本具有噪聲數(shù)據(jù)時(shí)，分類性能較差。我們提出了一種用于噪聲數(shù)據(jù)分類的局部Boosting算法，即LAdaBoost。其主要思想是：在每次迭代過程中，計(jì)算每個(gè)訓(xùn)練樣本的局部錯(cuò)誤率，利用局部錯(cuò)誤率更新樣本被選作用于訓(xùn)練下一個(gè)分類器的概率。對(duì)一個(gè)新的樣本進(jìn)行分類時(shí)，考慮了該樣本和它鄰域內(nèi)的每個(gè)訓(xùn)練樣本的近似度。在UCI部分?jǐn)?shù)據(jù)集上的實(shí)驗(yàn)