決策樹分類算法的研究與應(yīng)用.pdf

1、作為最重要的分類算法，決策樹以其易于提取顯示規(guī)則、計(jì)算量相對(duì)較小、具有較高的分類準(zhǔn)確率等優(yōu)點(diǎn)被廣泛應(yīng)用于許多領(lǐng)域。ID3算法是最有影響力的決策樹算法之一，其核心思想是在決策樹的各級(jí)結(jié)點(diǎn)上，使用屬性的信息增益作為屬性選擇標(biāo)準(zhǔn)。通過選擇信息增益最大的屬性作為樣本劃分的測(cè)試屬性，達(dá)到生成決策樹并得出分類規(guī)則的目的。 本文在詳細(xì)介紹各種常見的分類算法的基礎(chǔ)上，論述了各種決策樹算法的基本思想，分析了ID3算法存在的諸如過度擬合、多值偏向等

2、問題，并做了以下研究工作： (1)利用對(duì)數(shù)的性質(zhì)通過對(duì)信息熵公式變形，提出通過數(shù)組來(lái)存儲(chǔ)有限個(gè)數(shù)的對(duì)數(shù)值來(lái)大幅度減少對(duì)數(shù)運(yùn)算量的方法，并且通過模擬實(shí)驗(yàn)證明了該方法的有效性。 (2)詳細(xì)描述了重要屬性缺失導(dǎo)致的過度擬合問題對(duì)ID3算法分類準(zhǔn)確率的影響。提出了事前預(yù)測(cè)準(zhǔn)確率的概念，通過在實(shí)際應(yīng)用中的對(duì)比分析，從三種假設(shè)的事前預(yù)測(cè)準(zhǔn)確率數(shù)學(xué)模型中確定了準(zhǔn)確率最高的一個(gè)作為分類評(píng)價(jià)模型，在此基礎(chǔ)上給出了針對(duì)重要屬性缺失導(dǎo)致的過度