文本分類(lèi)技術(shù)在垃圾郵件過(guò)濾中的應(yīng)用研究.pdf

1、隨著國(guó)際互聯(lián)網(wǎng)的迅猛發(fā)展和日益普及，電子郵件以其通信的方便、快捷、成本低廉成為了人們?nèi)粘Ｉ钪型ㄐ拧⒔涣鞯闹匾侄沃?。但是近些年?lái)，垃圾郵件問(wèn)題日益嚴(yán)重，網(wǎng)絡(luò)用戶(hù)平均每天收到的垃圾郵件數(shù)量已經(jīng)超過(guò)了正常郵件，并有進(jìn)一步增長(zhǎng)的趨勢(shì)。面對(duì)肆虐的垃圾郵件，人們通常采用的過(guò)濾技術(shù)有：白名單與黑名單技術(shù)、規(guī)則過(guò)濾技術(shù)、基于關(guān)鍵詞匹配的快速過(guò)濾技術(shù)等等，但是這些技術(shù)人為因素較多，面對(duì)不斷變化的垃圾郵件顯得力不從心。 另一方面，由于垃圾郵件

2、往往有其用詞、行文等內(nèi)容上的明顯特征，而且垃圾郵件所包含的話(huà)題一般不存在于正常郵件中，這使得應(yīng)用文本分類(lèi)和信息過(guò)濾的方法進(jìn)行基于內(nèi)容分析的垃圾郵件過(guò)濾變得非常有效，目前這已成為垃圾郵件過(guò)濾中一個(gè)新的研究熱點(diǎn)。 本文總結(jié)了常用的基于機(jī)器學(xué)習(xí)的文本分類(lèi)技術(shù)和方法；并在真實(shí)郵件語(yǔ)料上研究了不同特征選取方法和特征集大小對(duì)各分類(lèi)方法性能的影響，實(shí)驗(yàn)結(jié)果表明特征選取方法的重要性隨分類(lèi)器的不同差別很大；簡(jiǎn)單的“Bag of Words”過(guò)濾模

3、型對(duì)垃圾郵件過(guò)濾有很好的效果。 在使用分類(lèi)模型對(duì)垃圾郵件進(jìn)行過(guò)濾前通常需要垃圾郵件和正常郵件兩類(lèi)樣本對(duì)分類(lèi)模型進(jìn)行訓(xùn)練，但實(shí)際上我們往往能獲取到大量的垃圾郵件而由于隱私等法律上的一些問(wèn)題，使獲取正常郵件存在一定的困難。從這個(gè)實(shí)際問(wèn)題入手本文詳細(xì)分析了k-近鄰算法及其優(yōu)缺點(diǎn)，提出并實(shí)現(xiàn)了一種改進(jìn)的k-近鄰算法。本文在真實(shí)郵件語(yǔ)料上，研究了郵件預(yù)處理和決策函數(shù)對(duì)改進(jìn)的k-近鄰算法的影響，并將改進(jìn)的k-近鄰算法與傳統(tǒng)的k-近鄰算法做了