基于改進(jìn)哈希算法的快速KNN文本分類方法.pdf

1、網(wǎng)絡(luò)的日益普及和人們對技術(shù)的日益依賴，使得數(shù)據(jù)越來越多的以電子的形式存儲在計算機(jī)中。在當(dāng)今高節(jié)奏社會，無論是在大型的企業(yè)數(shù)據(jù)中，還是在網(wǎng)絡(luò)上，如何迅速有效的找到所需要的數(shù)據(jù)已經(jīng)成為一個重要的話題。對此，國內(nèi)外的專家提出了各種各樣的技術(shù)，如數(shù)據(jù)庫技術(shù)、關(guān)鍵詞匹配技術(shù)和文本分類技術(shù)等。對文本進(jìn)行分類能夠有效的降低搜索感興趣內(nèi)容的時間，并且提高結(jié)果的準(zhǔn)確率，在一定的程度上提高了用戶的體驗度。
　　 常用的分類技術(shù)如貝葉斯分類技術(shù)、支持

2、向量機(jī)分類法、決策樹等需要大量的時間來訓(xùn)練分類器，如果更新訓(xùn)練用的語料庫的話，需要重新訓(xùn)練文本分類器。傳統(tǒng)中的KNN分類器的一大優(yōu)點在于其能夠在語料增加的情況下，不用重新訓(xùn)練分類器，同時分類準(zhǔn)確率也比較高，因此一直很是受歡迎。但是，KNN算法也有其瓶頸：需要計算待分類文本與所有訓(xùn)練文本之間的相似度，這會浪費(fèi)大量的時間。
　　 本文提出了一種改進(jìn)的KNN文本分類方法，根據(jù)具有最小方差的若干個特征建立相應(yīng)的文本列表，搜索近鄰文本時，

3、先確定待分類文本的近鄰文本在這些特征上的大致取值范圍，從而依據(jù)哈希算法直接剔除掉絕大多數(shù)的文本，對于剩下的文本計算與待分類文本的相似度并找出最近鄰的若干個，如果不滿足K的要求，可以適當(dāng)?shù)臄U(kuò)展特征的取值范圍直到滿足為止。這種做法會極大的提高文本檢索的速度。同時根據(jù)訓(xùn)練文本的類別與待分類文本的距離溢出率，對該類別中的文本與待分類文本之間的相似度進(jìn)行適當(dāng)?shù)臋?quán)重調(diào)整，從而提高分類的準(zhǔn)確率。在篩選特征的時候，改進(jìn)了傳統(tǒng)的tf-idf算法，并且根據(jù)