流形學(xué)習(xí)及其在文本分類中的應(yīng)用.pdf

1、隨著計(jì)算機(jī)能力的日益增強(qiáng)和存儲(chǔ)容量的增長(zhǎng)，大規(guī)模的數(shù)據(jù)獲取更為方便和普遍，同時(shí)也產(chǎn)生了新的問題。在很多領(lǐng)域中，如文本挖掘、生物特征認(rèn)證、圖像分析和計(jì)算機(jī)視覺、信息檢索中的文本分析和計(jì)算生物學(xué)等，獲得的是高維數(shù)據(jù)，這樣極有可能導(dǎo)致“維數(shù)災(zāi)難”的出現(xiàn)。近年來，流形學(xué)習(xí)成為了機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)熱點(diǎn)研究方向，流形學(xué)習(xí)期望從高維數(shù)據(jù)空間中尋找數(shù)據(jù)隱含的規(guī)律性與結(jié)構(gòu)，被廣泛用于高維數(shù)據(jù)降維，是一種非線性數(shù)據(jù)降維方法。文本分類作為信息檢索、搜索引擎、

2、文本數(shù)據(jù)庫(kù)、數(shù)字化圖書館等領(lǐng)域的技術(shù)基礎(chǔ)，有著廣泛的應(yīng)用前景。由于文本數(shù)據(jù)的非結(jié)構(gòu)化特點(diǎn)，進(jìn)行文本表示時(shí)，特征向量高達(dá)幾萬(wàn)維甚至于幾十萬(wàn)維。高維的特點(diǎn)會(huì)大大增加冗余特征信息，從而導(dǎo)致分類的準(zhǔn)確度下降。數(shù)據(jù)降維能夠減少文本向量的維數(shù)，而使特征向量能更好地代表文本或者類別特征。
　　本文假設(shè)文本向量空間存在一個(gè)潛在的文本流形，將文本看做是這個(gè)流形上抽樣的點(diǎn)，將流形學(xué)習(xí)應(yīng)用在文本分類的文本預(yù)處理過程中，提出了一種基于ISOMAP的Bag