稀疏無監(jiān)督線性降維方法研究.pdf

1、隨著存儲(chǔ)技術(shù)的發(fā)展，可獲得的數(shù)據(jù)集在樣本個(gè)數(shù)及樣本特征維度方面都有很大的提高。因此，我們需要降維(Dimensionality Reduction，DR)技術(shù)來幫助探索和分析如此龐大的數(shù)據(jù)集。一般來講，DR技術(shù)的目標(biāo)是將高維數(shù)據(jù)表示在低維空間中，旨在：從知識(shí)發(fā)現(xiàn)的角度出發(fā)，識(shí)別出一個(gè)有利于預(yù)測輸出的特征子集；通過減少特征的數(shù)量降低學(xué)習(xí)算法的時(shí)間和空間復(fù)雜度；消除噪音或不相關(guān)特征對(duì)預(yù)測準(zhǔn)確度的影響等。現(xiàn)有的DR技術(shù)大致可分為無監(jiān)督的特征轉(zhuǎn)

2、換技術(shù)和有監(jiān)督的特征選擇策略。
　　 主元分析(Principal Component Analysis，PCA)和主坐標(biāo)分析(PrincipalCoordinate Analysis，PCO)是兩種經(jīng)典的無監(jiān)督降維方法。它們通過線性轉(zhuǎn)換技術(shù)將高維數(shù)據(jù)轉(zhuǎn)換到低維空間并且在降維的同時(shí)保留數(shù)據(jù)的最大方差。但是，由于降維后的每個(gè)主元(Principal Component，PC)是所有特征變量的線性組合，且線性轉(zhuǎn)換矩陣中的元素非零，故

3、很難理解推導(dǎo)出的主元。為了解決在降維過程中不易理解的問題，一些學(xué)者引入稀疏模型?，F(xiàn)有的稀疏模型主要針對(duì)PCA，稱為稀疏主元分析(Sparse PCA)，其大致可分為兩類：一類是基于回歸框架，另一類是基于主元的最大方差特性。到目前為止，還沒有關(guān)于PCO的稀疏模型。本文主要對(duì)現(xiàn)有的各種Sparse PCA模型進(jìn)行研究，并做了如下幾個(gè)方面的創(chuàng)新：
　　 在對(duì)現(xiàn)有的兩類Sparse PCA模型研究的基礎(chǔ)上，由最佳得分(Optimal S

4、coring)框架推導(dǎo)出一種新的PCA的模型，并通過加入彈性網(wǎng)(Elastic Net)稀疏懲罰來獲得Sparse PCA模型。實(shí)驗(yàn)結(jié)果表明，我們新提出的方法在應(yīng)用于判別分析(Discriminative Analysis)的問題時(shí)，能獲得更好的效果。
　　 根據(jù)主元分析及主坐標(biāo)分析之間的對(duì)偶性，我們將主坐標(biāo)分析歸到回歸框架下，并同樣加入elastic net稀疏懲罰來獲得稀疏主坐標(biāo)分析模型。實(shí)驗(yàn)表明，此模型能很好的捕獲數(shù)據(jù)的潛