基于支持向量機(jī)和稀疏技術(shù)的中文垃圾郵件分類研究.pdf

1、隨著互聯(lián)網(wǎng)的日益普及,電子郵件服務(wù)的應(yīng)用也越來(lái)越廣泛,但是垃圾郵件問(wèn)題帶來(lái)許多不便和巨大浪費(fèi)。如何有效的對(duì)垃圾郵件進(jìn)行過(guò)濾,已成為互聯(lián)網(wǎng)信息安全領(lǐng)域亟需解決的一個(gè)難題,對(duì)垃圾郵件過(guò)濾理論及技術(shù)進(jìn)行研究具有相當(dāng)重要的現(xiàn)實(shí)意義。目前,垃圾郵件過(guò)濾技術(shù)的主要研究重點(diǎn)是基于郵件內(nèi)容分析的郵件過(guò)濾技術(shù)。
　　基于郵件內(nèi)容的中文垃圾郵件過(guò)濾方法主要包括以下幾個(gè)方面:郵件正文中文文本分詞、中文文本表示、文本特征詞條選擇以及分類技術(shù)幾個(gè)部分。針對(duì)

2、垃圾郵件過(guò)濾中的郵件數(shù)據(jù)維度高且稀疏的特點(diǎn),本文首先對(duì)文本特征選擇的相關(guān)技術(shù):信息增益法、互信息法和開(kāi)方分布等方法以及正則化技術(shù)中Lasso理論方法進(jìn)行了深入研究,并將帶有l(wèi)1范數(shù)的懲罰最小二乘方法,也即最小絕對(duì)收縮與選擇算子(Least Absolute Shrinkage Selection Operator, Lasso)引入到文本特征選擇中,利用Lasso方法的系數(shù)約減特性,來(lái)完成文本特征詞條的選擇。
　　支持向量機(jī)(SV

3、M)方法在文本分類跟垃圾郵件過(guò)濾中早已得到了廣泛的應(yīng)用,對(duì)于支持向量機(jī)的研究,特別是對(duì)支持向量機(jī)核函數(shù)方面的研究,一直是機(jī)器學(xué)習(xí)的研究熱點(diǎn)。一般來(lái)說(shuō),在支持向量機(jī)中經(jīng)常使用到的核函數(shù)有:線性核函數(shù)、多項(xiàng)式核函數(shù)和徑向基核函數(shù)(高斯核函數(shù))等。Q-高斯函數(shù)是一種帶有參數(shù) Q的一般化的高斯函數(shù),在理論應(yīng)用中有一些高斯函數(shù)所不具有的特性,本文對(duì) Q-高斯函數(shù)進(jìn)行了深入的理論分析,將Q-高斯函數(shù)引入到SVM,構(gòu)建Q-高斯SVM分類模型用于垃圾郵

4、件過(guò)濾,使用 TREC06C和 CDSCE中文郵件測(cè)評(píng)數(shù)據(jù)進(jìn)行仿真實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明 Q-高斯SVM用于垃圾郵件過(guò)濾具有較好的分類性能。
　　在應(yīng)對(duì)真實(shí)世界中的誤分類代價(jià)不同以及正負(fù)樣本分布不平衡的問(wèn)題,代價(jià)敏感學(xué)習(xí)方法開(kāi)始受到越來(lái)越多人的重視,在垃圾郵件過(guò)濾問(wèn)題中,正常郵件跟垃圾郵件的誤分代價(jià)差異很大,而且在實(shí)際生活中,垃圾郵件的數(shù)量也往往占據(jù)絕大多數(shù),此時(shí)代價(jià)敏感的學(xué)習(xí)方法就顯得尤為重要。本文將Lin等人提出的代價(jià)敏感SVM(