基于互信息的屬性選擇算法研究.pdf

1、屬性選擇技術(shù)是數(shù)據(jù)挖掘中一個(gè)日趨重要的研究方向.基于互信息的屬性選擇算法是一種常見(jiàn)的屬性選擇技術(shù)，具有易用性和高效性的特點(diǎn)，且具有很強(qiáng)的理論基礎(chǔ)，因此它是屬性選擇算法的研究熱點(diǎn).
　　本文首先系統(tǒng)介紹了基于互信息的屬性選擇算法的基礎(chǔ)理論，從而為新算法中評(píng)價(jià)函數(shù)的推導(dǎo)奠定了理論基礎(chǔ).其次，從搜索策略和評(píng)價(jià)函數(shù)兩個(gè)方面對(duì)基于互信息的屬性選擇算法進(jìn)行概述，并探討它們的優(yōu)缺點(diǎn)，這對(duì)新算法的設(shè)計(jì)起到了指導(dǎo)作用.最后，詳細(xì)探討了兩類(lèi)基于互信息

2、的屬性選擇算法:一類(lèi)是基于二次規(guī)劃的屬性選擇算法，是一種最優(yōu)化的屬性選擇算法;另一類(lèi)是基于極大連通子圖的屬性選擇算法，是一種啟發(fā)式的屬性選擇算法.隨后分別對(duì)它們提出了改進(jìn)算法，并做了實(shí)驗(yàn)驗(yàn)證分析.
　　本文針對(duì)基于二次規(guī)劃的屬性選擇算法的求解難題，提出了一種基于Rayleigh商的新解法，即RFSCMI屬性選擇算法.它最終得到的是所有屬性按照重要性的排名，若要得到最優(yōu)屬性子集，則需要設(shè)定子集中屬性個(gè)數(shù)參數(shù);針對(duì)啟發(fā)式屬性選擇算法S

3、OFS中過(guò)度刪除相關(guān)屬性的問(wèn)題，提出了一種基于極大連通子圖的屬性選擇算法，即MCSGFS屬性選擇算法.這是與最優(yōu)屬性子集中屬性個(gè)數(shù)無(wú)關(guān)的算法，其結(jié)果即是最優(yōu)屬性子集，無(wú)需設(shè)定子集中屬性個(gè)數(shù)參數(shù).
　　本文實(shí)驗(yàn)選用了四個(gè)數(shù)據(jù)集，分別是Ionosphere34、Waveform21、Wave form40和Wdbc31;選用了兩個(gè)評(píng)價(jià)屬性選擇算法的分類(lèi)器算法，分別是Naive Bayes和C4.5，利用它們對(duì)本文中5個(gè)基于互信息的屬性

4、算法進(jìn)行實(shí)驗(yàn).實(shí)驗(yàn)表明，在基于二次規(guī)劃的3個(gè)屬性選擇算法(QPFS、EQPFS和RFSCMI)中，本文改進(jìn)的算法RFSCMI的最優(yōu)屬性子集的分類(lèi)準(zhǔn)確率較高;在啟發(fā)式的2個(gè)屬性選擇算法(SOFS和MCSGFS)中，本文提出的算法MCSGFS的最優(yōu)屬性子集的分類(lèi)準(zhǔn)確率略高于SOFS算法.根據(jù)對(duì)這5個(gè)基于互信息的屬性選擇算法的綜合實(shí)驗(yàn)分析可知，在大多數(shù)情況下，最優(yōu)化的基于二次規(guī)劃的屬性選擇算法的結(jié)果優(yōu)于啟發(fā)式的基于極大連通子圖的屬性選擇算法，