不完整數(shù)據(jù)集成分類算法的研究.pdf

1、分類被廣泛的應(yīng)用于生產(chǎn)、科學(xué)研究、日常生活等領(lǐng)域的方方面面。隨著機器學(xué)習(xí)應(yīng)用范圍的擴大，信息技術(shù)以及互聯(lián)網(wǎng)的迅速發(fā)展，每天都有大量的數(shù)據(jù)被收集，新的挑戰(zhàn)和問題也隨之出現(xiàn)。在心理學(xué)研究中經(jīng)常出現(xiàn)研究對象可能由于對自己隱私的保護，而沒有填寫某些實驗數(shù)據(jù)。在醫(yī)學(xué)研究當(dāng)中經(jīng)常由于觀察對象死亡而丟失后續(xù)實驗的數(shù)據(jù)，這些情況都造成了最后的實驗結(jié)果不完整。目前主流的分類算法都是針對完整的數(shù)據(jù)集，對不完整的數(shù)據(jù)集則束手無策。如何有效的利用這些不完整的數(shù)

2、據(jù)，成為機器學(xué)習(xí)中又一個研究熱點。
　　 集成學(xué)習(xí)由于其簡單的算法和良好的泛化性能得到了廣泛的應(yīng)用。近年來也有人使用集成學(xué)習(xí)的方法解決不完整數(shù)據(jù)的分類問題，并取得了良好的效果。但目前針對不完整數(shù)據(jù)的集成分類算法在衡量各個子分類器的權(quán)重時只考慮了相應(yīng)數(shù)據(jù)子集的維數(shù)和大小，而沒有考慮到不同的屬性對最終類別的貢獻程度不同。
　　 信息量是個很抽象的概念，一個系統(tǒng)中信息量多或者信息量少，都是感性的認識，那么如何量化一個系統(tǒng)中信息

3、的多與少呢？1948年克勞德·艾爾伍德·香農(nóng)第一次用數(shù)學(xué)公式描述了一個系統(tǒng)中信息量的多少。本文利用條件熵和互信息的概念來衡量不同缺失屬性之間對于類別貢獻的差異，進而計算出各個子分類器的權(quán)重，使得最終的加權(quán)投票更加公平，結(jié)果更加準(zhǔn)確。
　　 本文的主要工作如下:
　　 1.闡述了研究不完整數(shù)據(jù)的背景和意義，介紹了當(dāng)前處理不完整數(shù)據(jù)的主要方法以及優(yōu)缺點。闡述了弱可學(xué)習(xí)理論以及集成學(xué)習(xí)的相關(guān)概念、原理、優(yōu)勢和其兩個主要算法:B

4、agging和Boosting。介紹了信息熵、聯(lián)合熵、條件熵以及互信息的概念、意義和相關(guān)公式。
　　 2.針對當(dāng)前集成學(xué)習(xí)處理不完整數(shù)據(jù)的不足，提出了基于條件熵的不完整數(shù)據(jù)的集成分類算法。給出了使用條件熵計算各個子分類器權(quán)值的方法。詳細論述了算法的有效性和正確性。本文使用UCl的數(shù)據(jù)集，利用Bagging和AdaBoost集成學(xué)習(xí)算法進行了實驗。實驗結(jié)果表明該算法比簡單的使用缺失屬性的多少來計算子分類器的權(quán)重更有效，最終的集成結(jié)