基于特征選擇的數(shù)據(jù)降維.pdf

1、特征選擇是數(shù)據(jù)降維中最常用的手段，與之相對(duì)應(yīng)的是特征生成，二者共同構(gòu)成數(shù)據(jù)降維的兩種主要方式。數(shù)據(jù)降維是應(yīng)用統(tǒng)計(jì)、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、模式識(shí)別等領(lǐng)域中及其關(guān)鍵的問題。特征選擇有利于降低數(shù)據(jù)處理的時(shí)間復(fù)雜度和計(jì)算機(jī)存儲(chǔ)的空間復(fù)雜度，還可以提高學(xué)習(xí)模型的準(zhǔn)確性、魯棒性以及泛化能力。本文從監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)兩個(gè)方面對(duì)特征選擇算法進(jìn)行分類和描述，主要利用信息論中關(guān)鍵概念互信息設(shè)計(jì)特征選擇算法。本文的主要內(nèi)容包括：
　　(1)在監(jiān)督學(xué)習(xí)的

2、特征選擇中，利用互信息作為工具，講述了Parzen Window特征選擇以及最大相關(guān)-最小冗余(MRMR)特征選擇算法。
　　(2)在非監(jiān)督學(xué)習(xí)的特征選擇中，我們利用鄰域互信息作為特征間的相似性度量，新設(shè)計(jì)了一種，基于特征聚類的特征選擇算法。且該算法可直接處理混合數(shù)據(jù)(同時(shí)含有連續(xù)型特征和種類特征),而不需要做種類數(shù)據(jù)的數(shù)值化，也不需要做連續(xù)數(shù)據(jù)的離散化處理。
　　(3)將鄰域互信息應(yīng)用于Parzen Window和MRMR