基于距離度量學(xué)習(xí)的文本分類研究.pdf

1、文本分類技術(shù)作為作為現(xiàn)代互聯(lián)網(wǎng)信息科技的重要分支在過去的二十年中有了長足的發(fā)展,然而隨著互聯(lián)網(wǎng)上 Web頁面數(shù)量的指數(shù)增長,互聯(lián)網(wǎng)信息的多樣性也呈現(xiàn)出越來越復(fù)雜的態(tài)勢。如何改變傳統(tǒng)的文本分類算法使其適應(yīng)現(xiàn)代Web信息類別多樣、低區(qū)分度等特性成為現(xiàn)在文本分類亟待解決的問題。距離度量學(xué)習(xí)算法是一類圍繞樣本之間相似度的度量模式來進(jìn)行研究的機(jī)器學(xué)習(xí)算法,由于目前基于統(tǒng)計和機(jī)器學(xué)習(xí)的文本分類算法已經(jīng)比較成熟,在分類精度方面很難再有更大的提高,因此

2、如何改變樣本的距離度量模式使其達(dá)到更好的分類效果,是當(dāng)前的一個研究熱點。此方面的研究已經(jīng)在圖像識別、分類領(lǐng)域有了比較成功的應(yīng)用。
　　本文主要針對距離度量學(xué)習(xí)在文本分類中的應(yīng)用展開研究,首先在廣泛調(diào)研文獻(xiàn)的基礎(chǔ)上總結(jié)了目前已有的本領(lǐng)域相關(guān)工作,并介紹了幾種常見的距離度量學(xué)習(xí)算法,其次介紹了文本分類的具體流程,并對其中關(guān)鍵算法進(jìn)行了分析,最后根據(jù)文本分類的特點結(jié)合已有的距離度量學(xué)習(xí)算法根據(jù)在實際應(yīng)用中出現(xiàn)的問題提出了一系列改進(jìn)方案。

3、
　　本文的主要工作有:
　　(1)在引入距離度量學(xué)習(xí)的基礎(chǔ)上考慮到其對樣本密度的影響,提出了改進(jìn)方案。新的方案設(shè)計了一個密度函數(shù)與K近鄰分類器相結(jié)合來平衡距離度量學(xué)習(xí)算法對樣本數(shù)據(jù)的影響。
　　(2)在大邊界最近鄰(LMNN)算法的啟發(fā)下,提出了一種新的基于余弦距離度量的學(xué)習(xí)算法(CS-LMNN),該算法更加適用于經(jīng)典的向量空間模型下的文本分類。
　　(3)最后在上述理論基礎(chǔ)上,實現(xiàn)了整個文本分類系統(tǒng),包括預(yù)處