基于最小風(fēng)險(xiǎn)貝葉斯的多層次郵件過(guò)濾系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅速普及，電子郵件在人們的生活中占據(jù)了越來(lái)越重要的地位。由于它使用方便、發(fā)送快捷、成本低廉等優(yōu)點(diǎn)被人們使用，成為現(xiàn)代社會(huì)中非常重要和廣受歡迎的通訊方式之一。但是電子郵件也帶了一些負(fù)面影響，尤其是垃圾郵件日益泛濫，它嚴(yán)重的占用系統(tǒng)資源，浪費(fèi)用戶時(shí)間并且威脅到網(wǎng)絡(luò)的安全。目前已成為互聯(lián)網(wǎng)上急需解決的問(wèn)題，因此設(shè)計(jì)并實(shí)現(xiàn)有效的垃圾郵件過(guò)濾模型具有重要的現(xiàn)實(shí)意義。
　　針對(duì)目前垃圾郵件普遍存在的一些問(wèn)題，本文從以下四個(gè)方面提出

2、了解決方法:
　　(1)目前的垃圾郵件技術(shù)大多集中在機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域，但大多數(shù)的算法不能有效地過(guò)濾垃圾郵件，因此針對(duì)垃圾郵件過(guò)濾中存在的漏報(bào)和誤判問(wèn)題，本文提出了一種改進(jìn)的最小風(fēng)險(xiǎn)貝葉斯算法。該算法與 AdaBoost算法相結(jié)合，實(shí)質(zhì)上就是以最小風(fēng)險(xiǎn)貝葉斯算法為基分類器，使用AdaBoost算法作為訓(xùn)練分類器的框架，通過(guò)訓(xùn)練經(jīng)常被分錯(cuò)類的訓(xùn)練樣本，并對(duì)其進(jìn)行標(biāo)記以此來(lái)達(dá)到提高郵件分類準(zhǔn)確率的目的。兩個(gè)算法結(jié)合后，提高了分類的

3、準(zhǔn)確率和查全率，并且取得了良好的過(guò)濾效果。
　　(2)在做實(shí)驗(yàn)的過(guò)程中，發(fā)現(xiàn)一個(gè)問(wèn)題:不一定改進(jìn)的算法在過(guò)濾所有信息時(shí)一定比原始算法好。針對(duì)該問(wèn)題提出了一種分流過(guò)濾垃圾郵件的思想。分流過(guò)濾垃圾郵件的方式就是根據(jù)郵件的內(nèi)容，先將郵件進(jìn)行第一次簡(jiǎn)單的分類，分成不同的類別，再進(jìn)行第二次分類，將其劃分到擅長(zhǎng)過(guò)濾這種內(nèi)容的模塊中，這樣劃分可以更好的利用算法，有針對(duì)性的過(guò)濾。
　　(3)針對(duì)單一的過(guò)濾技術(shù)難以有效過(guò)濾垃圾郵件的問(wèn)題，提出

4、了一種多層次過(guò)濾垃圾郵件的方法。將黑/白名單、基于關(guān)鍵詞、基于規(guī)則、基于內(nèi)容等多種方法相融合，對(duì)郵件的主題、附件名的關(guān)鍵詞、郵件正文內(nèi)容以及附件的文本內(nèi)容等信息進(jìn)行過(guò)濾，多層次過(guò)濾可以充分的發(fā)揮每個(gè)技術(shù)的優(yōu)點(diǎn)，達(dá)到了比較理想的過(guò)濾效果。
　　(4)設(shè)計(jì)并在Microsoft Visual Studio2005平臺(tái)上實(shí)現(xiàn)了基于內(nèi)容的多層次郵件過(guò)濾系統(tǒng)。訓(xùn)練和測(cè)試郵件樣本都來(lái)源于中國(guó)教育和科研網(wǎng)緊急響應(yīng)組(CCERT)垃圾郵件數(shù)據(jù)庫(kù)，