非線性維數(shù)約減的研究及其應(yīng)用.pdf

1、對(duì)維數(shù)約減的研究是機(jī)器學(xué)習(xí)的重要主題,維數(shù)約減較中肯地把握了人類的歸納學(xué)習(xí)和抽象思維過程的形式特征.維數(shù)約減算法大致可以分為兩類,一類是線性的方法:如主成分分析法(PCA)和經(jīng)典多維尺度算法(CMDS),另一類是非線性的方法:如等距映射法(Isomap)、局域線性嵌入法(LLE)和自組織等距嵌入法(SIE)等.該文首先對(duì)幾種維數(shù)約減算法進(jìn)行了研究和分析.經(jīng)典的維數(shù)約減算法,如PCA和CMDS,實(shí)現(xiàn)簡(jiǎn)單,可以確保發(fā)現(xiàn)處于高維向量空間的線性

2、子空間上的數(shù)據(jù)集的真實(shí)幾何結(jié)構(gòu).但是這類算法的線性本質(zhì)使其無法揭示復(fù)雜的非線性流形.為此,許多非線性維數(shù)約減算法相繼提出.Isomap是一種全局優(yōu)化算法,該算法建立在經(jīng)典多維尺度算法CMDS基礎(chǔ)之上,試圖保持?jǐn)?shù)據(jù)間內(nèi)在的幾何特性,即保持?jǐn)?shù)據(jù)點(diǎn)之間的測(cè)地線距離;LLE是一種無監(jiān)督的學(xué)習(xí)算法,揭示非線性流形的全局結(jié)構(gòu).LLE使用一種局域?qū)ΨQ和線性重構(gòu)的方法,將輸入空間的點(diǎn)集映射為一個(gè)單一低維的全局坐標(biāo)系,并保持點(diǎn)的鄰域關(guān)系.SIE則是基于一

3、種幾何的觀點(diǎn):一個(gè)全局等距的嵌入必然是局域等距的,同樣,適當(dāng)選定一組局域等距約束條件,可以蘊(yùn)含全局等距;SIE利用點(diǎn)集的距離分布作為等距約束條件,通過適當(dāng)選取保持局域距離分布的局域等距映象,在概率意義上強(qiáng)迫出全局等距嵌入映象.為了客觀評(píng)價(jià)各種非線性維數(shù)約減算法的重構(gòu)質(zhì)量,該文采用仿真數(shù)據(jù)和真實(shí)數(shù)據(jù)分別用各種維數(shù)約減算法進(jìn)行重構(gòu).該文將非線性維數(shù)約減的方法引入文本分類,并驗(yàn)證了基于非線性維數(shù)約減的文本分類的可用性.仿真實(shí)驗(yàn)表明,對(duì)于無噪數(shù)