魯棒線性子空間學(xué)習(xí)算法與框架研究.pdf

1、為了獲取隱藏在高維數(shù)據(jù)中的有用信息，線性子空間學(xué)習(xí)方法往往被用來降低這些數(shù)據(jù)的維數(shù)。然而，很多現(xiàn)有的線性子空間學(xué)習(xí)算法對噪聲、離群數(shù)據(jù)或其它擾動缺乏魯棒性，以致相關(guān)學(xué)習(xí)算法在各種應(yīng)用系統(tǒng)中的可靠性差。因此，該文旨在提高傳統(tǒng)線性子空間學(xué)習(xí)算法的魯棒性，將首先通過對線性子空間學(xué)習(xí)算法進(jìn)行理論分析，然后找出影響各種學(xué)習(xí)算法魯棒性的理論依據(jù)并對相關(guān)線性子空間方法進(jìn)行改進(jìn)。在此研究基礎(chǔ)上，該文對一些關(guān)系密切的方法進(jìn)行歸納總結(jié)并提出了兩種一般框架，

2、這為未來的研究工作打下了良好的基礎(chǔ)。該文主要工作和創(chuàng)新包含以下五個(gè)方面:
　　(1)為了進(jìn)一步提高LPP-L1的魯棒性，第二章提出一種基于最大相關(guān)熵標(biāo)準(zhǔn)的局部保持投影算法(LPP-MCC)。LPP-MCC采用相關(guān)熵來度量數(shù)據(jù)間的相似性，形成基于最大相關(guān)熵的目標(biāo)函數(shù)，并通過一個(gè)迭代的半二次優(yōu)化框架輕松實(shí)現(xiàn)其目標(biāo)函數(shù)的求解。LPP-MCC具有三個(gè)重要的優(yōu)點(diǎn):一是LPP-MCC在對抗離群數(shù)據(jù)方面比基于L2范數(shù)和L1范數(shù)的LPP都更具魯棒

3、性;二是LPP-MCC的求解過程本質(zhì)上是一種簡單的標(biāo)準(zhǔn)優(yōu)化方法;三是LPP-MCC成功地避免了小樣本問題。在人工合成數(shù)據(jù)集和從真實(shí)世界采集的數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果也表明LPP-MCC在對抗離群數(shù)據(jù)方面比LPP-L2和LPP-L1更具有魯棒性。
　　(2)雖然LDA-R1顯著地提高LDA-L2對抗離群數(shù)據(jù)的魯棒性，但是LDA-R1在面對高維輸入空間時(shí)難以收斂。受PCA-L1和CSP-L1的啟發(fā)，第三章提出一種基于L1范數(shù)最大化的線性鑒別

4、分析算法(LDA-L1)。LDA-L1是一種簡單而有效的魯棒算法，通過最大化基于L1范數(shù)的類間距與基于L1范數(shù)的類內(nèi)距之比學(xué)習(xí)一系列局部最優(yōu)投影向量。但是，直接求解LDA-L1的全局最優(yōu)解是非常困難的。為此，一種基于迭代過程的貪婪搜索方案被用于求解其近似解。在人工合成數(shù)據(jù)集、標(biāo)準(zhǔn)分類數(shù)據(jù)集和三個(gè)高維圖像數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果表明LDA-L1在對抗離群數(shù)據(jù)方面的魯棒性強(qiáng)于LDA-L2和LDA-R1的同時(shí)，其計(jì)算開銷要低于LDA-R1。

5、　　(3)傳統(tǒng)的鑒別局部保持投影算法(DLPP-L2)是一種基于子流形學(xué)習(xí)的線性維數(shù)約簡技術(shù)，其目標(biāo)函數(shù)采用基于L2范數(shù)的距離度量標(biāo)準(zhǔn)，所以其對離群數(shù)據(jù)非常敏感。受L1范數(shù)最大化方法的啟發(fā)，第四章提出一種基于L1范數(shù)最大化的魯棒鑒別局部保持投影算法(DLPP-L1)，其通過最大化基于L1范數(shù)的局部保持類間散度與基于L1范數(shù)的局部保持類內(nèi)散度的比率學(xué)習(xí)一系列局部最優(yōu)投影向量。DLPP-L1的求解過程被證明是可行的，而且克服了小樣本問題。在

6、人工合成數(shù)據(jù)集、Binary Alphadigits數(shù)據(jù)庫、FERET人臉數(shù)據(jù)庫子集上和PolyU掌紋數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果表明DLPP-L1比基于L2范數(shù)的DLPP類方法更具魯棒性。
　　(4)在充分分析多種鑒別分析方法的基礎(chǔ)上，第五章提出了一種基于相似性度量的鑒別分析一般框架。該框架表明鑒別分析方法由四個(gè)方面構(gòu)成:一是相似性的度量標(biāo)準(zhǔn);二是數(shù)據(jù)的表現(xiàn)形式;三是相似性的計(jì)算方式;四是目標(biāo)問題的形成和求解算法。在該框架下可對現(xiàn)有的諸多

7、鑒別分析算法做出闡釋，而且可設(shè)計(jì)出新的魯棒鑒別分析算法。為此，第五章還根據(jù)該框架提出一種基于L2和L1范數(shù)的魯棒鑒別分析算法——LDA-L2&L1,其類間相似性度量的標(biāo)準(zhǔn)采用基于L2范數(shù)的距離，而類內(nèi)相似性度量的標(biāo)準(zhǔn)采用基于L1范數(shù)的距離。實(shí)驗(yàn)結(jié)果表明LDA-L2&L1算法是有效的，也間接證明基于相似性度量的鑒別分析一般框架是有效的。
　　(5)為了提高子空間學(xué)習(xí)方法在處理圖像數(shù)據(jù)時(shí)的可靠性，第六章以人臉識別為例提出一種基于局部紋

8、理模式的子空間學(xué)習(xí)一般框架，該框架是利用簡單的疊加思想來形成一種有效的綜合方案。在該框架的指導(dǎo)下，第六章提出一種基于ELDP的魯棒子空間學(xué)習(xí)人臉識別方案。為更具魯棒性，方案采用了魯棒的紋理算子ELDP。ELDP是第六章在LDP的基礎(chǔ)上提出的一種優(yōu)化紋理算子，在三個(gè)人臉數(shù)據(jù)庫上的實(shí)驗(yàn)表明ELDP在保持鑒別性的同時(shí)提高了LDP對抗輕微噪聲的魯棒性。在CAS-PEAL-R1人臉數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果表明推薦方案是有效的，這也說明基于局部紋理模式的