基于改進(jìn)SVM模型的中文郵件過濾系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、我國已經(jīng)成為第二大垃圾郵件受害國，垃圾郵件的泛濫對網(wǎng)絡(luò)安全、個人生活以及整個社會帶來嚴(yán)重危害，因此研究垃圾郵件問題具有重大意義。 郵件過濾技術(shù)是反垃圾郵件的重要手段，目前流行的垃圾郵件過濾技術(shù)包括黑白名單技術(shù)、基于規(guī)則的過濾以及基于內(nèi)容的過濾技術(shù)等。由于垃圾郵件的特征不斷變換，黑白名單和規(guī)則過濾方法都有一定局限性。基于內(nèi)容的過濾方法從郵件正文出發(fā)，通過對郵件正文的特征分析來判別垃圾郵件。內(nèi)容過濾方法往往是利用文本分類技術(shù)，主要有

2、樸素貝葉斯算法、k 近鄰算法、支持向量機(jī)算法等。然而k近鄰算法當(dāng)訓(xùn)練集規(guī)模較大時其效率難以保證，而樸素貝葉斯算法建立在獨立性假設(shè)基礎(chǔ)之上，因此貝葉斯算法的準(zhǔn)確率也受到限制。 本文重點討論了支持向量機(jī)算法的優(yōu)點，指出支持向量機(jī)在郵件過濾方面所存在的不足，即訓(xùn)練階段不同類別樣本交疊所帶來的分類面過于復(fù)雜的問題，以及分類階段處于分類面之內(nèi)的樣本分類結(jié)果可靠性較低的問題。通過在訓(xùn)練階段對樣本集使用最近鄰算法進(jìn)行裁減，以及在實時分類階段采

3、用支持向量機(jī)和 k 近鄰算法相結(jié)合的分類方法，使得支持向量機(jī)在郵件過濾方面有更好的準(zhǔn)確率。實驗表明，改進(jìn)后的模型對垃圾郵件有較高的識別率。 利用改進(jìn)的支持向量機(jī)算法模型，本文設(shè)計并實現(xiàn)了一個中文垃圾郵件過濾系統(tǒng)。該系統(tǒng)結(jié)合了一種較好的中文分詞技術(shù)，使用LIBSVM作為支持向量機(jī)開發(fā)工具，在訓(xùn)練階段對樣本集進(jìn)行最近鄰裁減，降低支持向量機(jī)分類面的劃分難度；在測試和實時分類階段，使用支持向量機(jī)和k近鄰算法相結(jié)合的方法進(jìn)行分類，提高支持