基于樣本重要性原理的KNN文本分類算法.pdf

1、隨著信息技術(shù)的快速發(fā)展，互聯(lián)網(wǎng)中的信息量正在迅猛增長(zhǎng)。KNN分類技術(shù)對(duì)于組織和管理龐大而又雜亂無章的互聯(lián)網(wǎng)數(shù)據(jù)，是一種非常有效地手段。傳統(tǒng)的KNN分類方法通過尋找與待分類樣本最近的K個(gè)近鄰樣本點(diǎn)，決策出待分類樣本的類別。但是，該方法將所有樣本等權(quán)重對(duì)待，而忽略了不同樣本對(duì)于分類的貢獻(xiàn)度問題。
　　在許多問題中，不同樣本點(diǎn)對(duì)于分類的作用是不一樣的。例如：在SVM分類方法中，最優(yōu)分離超平面的確定僅與支持向量有關(guān)，即類邊界樣本點(diǎn)。集成學(xué)

2、習(xí)中，每次循環(huán)過程通過加強(qiáng)被錯(cuò)分樣本的權(quán)重使得學(xué)習(xí)到的分類器更加關(guān)注被錯(cuò)分的樣本。因此，不同樣本在分類過程中應(yīng)該被賦予不同的權(quán)重?；谶@個(gè)思想，本文提出了一種樣本重要性原理的加權(quán)方法。首先，在訓(xùn)練集上建立異類樣本點(diǎn)之間的權(quán)重關(guān)系，權(quán)重的大小通過樣本點(diǎn)之間的歐幾里得距離表示；然后，根據(jù)樣本間的權(quán)重關(guān)系可以得出樣本點(diǎn)之間的轉(zhuǎn)移概率，樣本點(diǎn)之間的轉(zhuǎn)移只能在異類的近鄰樣本之間進(jìn)行；最后，根據(jù)隨機(jī)游走算法，可以計(jì)算出所有樣本點(diǎn)的邊界值得分，邊界值

3、得分體現(xiàn)了樣本點(diǎn)與分類邊界的距離。得分越高，距離越遠(yuǎn)；得分越低，距離越近。距離分類邊界越近的樣本對(duì)于類別的表示能力應(yīng)該更差，所以，利用邊界值得分可以得出樣本的重要性得分。樣本的邊界值得分越高，重要性得分就越低。最終，我們形成了一種基于樣本重要性原理的加權(quán)方法。
　　眾所周知，KNN方法在不均衡數(shù)據(jù)中容易偏向大類，然而對(duì)樣本點(diǎn)進(jìn)行加權(quán)的方法就是常用的解決之道。為了驗(yàn)證樣本重要性原理的加權(quán)方法的有效性，本文將其與KNN方法結(jié)合形成了基