基于流形學(xué)習(xí)的數(shù)據(jù)降維的研究.pdf

1、隨著計(jì)算機(jī)科學(xué)技術(shù)的迅速發(fā)展，非結(jié)構(gòu)化的高維數(shù)據(jù)大量涌現(xiàn)。高維數(shù)據(jù)不僅難以被人們直觀理解，而且難以被現(xiàn)有的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘算法有效地處理。如何有效地利用這些海量高維數(shù)據(jù)已經(jīng)成為未來(lái)企業(yè)競(jìng)爭(zhēng)的砝碼。數(shù)據(jù)降維算法是有效處理這些高維數(shù)據(jù)的一個(gè)重要手段，同時(shí)也是特征提取的重要工具，數(shù)據(jù)降維算法在模式識(shí)別中扮演著越來(lái)越重要的角色。
　　 流形學(xué)習(xí)(Manifold Learning)算法是近年來(lái)發(fā)展起來(lái)的一種非線性降維算法，2000年，

2、J.B.Tenenbaum、Sam、Roweis等人在《科學(xué)》雜志的同一期上發(fā)表了關(guān)于流形學(xué)習(xí)方面最有影響的兩篇文章。他們提出了各自的流形學(xué)習(xí)算法：等距特征映射(Iisometric Feature Mapping，簡(jiǎn)稱為ISOMAP)和局部線性嵌入(Locally LinearEmbedding，簡(jiǎn)稱為L(zhǎng)LE)，并首次使用了manifold learning術(shù)語(yǔ)，標(biāo)志著以非線性為主要特征的流形學(xué)習(xí)方法的誕生。經(jīng)過(guò)近12年時(shí)間的進(jìn)一步發(fā)

3、展，出現(xiàn)了很多流形學(xué)習(xí)算法，如LSTA、LE、Hessian LLE等。核方法在流形學(xué)習(xí)算法如局部線性嵌入，ISOMAP算法，拉普拉斯特征映射也取得了很大效果。推動(dòng)流形學(xué)習(xí)成為機(jī)器學(xué)習(xí)領(lǐng)域中的熱點(diǎn)問(wèn)題。本文圍繞流形學(xué)習(xí)算法展開，從線性降維算法、非線性降維算法(流形學(xué)習(xí)算法)等方面對(duì)數(shù)據(jù)降維算法進(jìn)行了一些研究。
　　 隨著數(shù)據(jù)降維在許多領(lǐng)域的重要應(yīng)用，以及其數(shù)學(xué)基礎(chǔ)--微分幾何的逐步完善，流形學(xué)習(xí)將在許多領(lǐng)域發(fā)揮重要作用。本論文在

4、第一章主要介紹了數(shù)據(jù)降維的目的以及非線性數(shù)據(jù)降維方法流形學(xué)習(xí)的研究背景、以及進(jìn)展，還介紹了流形學(xué)習(xí)方法的一些基本的概念。論文在第二章介紹了兩種經(jīng)典的線性降維算法，它們分別是主成分分析(Principal Component Analysis PCA)和線性鑒別分析(Linear Discriminant AnalysisLDA)。論文在第三章主要介紹6種經(jīng)典的流形學(xué)習(xí)方法，包括多維尺度變換(Multidimensional Scalin

5、g，MDS)、等距特征映射(Isometric Feature Mapping ISOMAP)、局部線性嵌入(Locally Linear Embedding LLE)、拉普拉斯特征映射(laplacian eignmapLE)、黑賽局部線性嵌入算法(Hessian LLE)、局部切空間排列(Local Fangent SpaceAlignment LTSA)等。論文還分析了這些流形學(xué)習(xí)方法各自的優(yōu)缺點(diǎn)以及它們的異同點(diǎn)。并使用matla

6、b軟件對(duì)這6種經(jīng)典流形學(xué)習(xí)算法進(jìn)行了模擬實(shí)現(xiàn)，論文中給出了實(shí)驗(yàn)結(jié)果以及一些分析。
　　 在論文的第四章基于密度聚類的Nystrom算法思想，提出了一種改進(jìn)流形學(xué)習(xí)準(zhǔn)確性的方法。Nystrom算法是一種經(jīng)典的近似處理積分方程的算法，它還可以用在數(shù)據(jù)降維中對(duì)核矩陣的近似處理中，從而減少數(shù)據(jù)降維算法中的大型樣本的復(fù)雜的矩陣運(yùn)算。它已成功地應(yīng)用到一些流形學(xué)習(xí)算法，如MDS。由于Nystrom方法是進(jìn)行矩陣抽樣時(shí)是隨機(jī)抽樣來(lái)代替原始樣本的