垃圾郵件行為模式識(shí)別與過濾方法研究.pdf

1、電子郵件已經(jīng)成為現(xiàn)代人際交流的一種最常見的方式。但是，SMTP(SimpleMail Transfer Protocol：簡(jiǎn)單郵件傳輸協(xié)議)協(xié)議的不完善，尤其是對(duì)電子郵件發(fā)送者沒有做任何的身份鑒別和控制，使得垃圾郵件越來越泛濫。
　　 垃圾郵件過濾是個(gè)復(fù)雜的問題，雖然存在許多相關(guān)研究，也獲得了很多成果，但是在技術(shù)上目前還沒有哪一種方法能完美地過濾所有的垃圾郵件。隨著偽裝技術(shù)的發(fā)展，垃圾郵件也越來越隱晦，致使基于內(nèi)容過濾的誤判率也

2、很高，而對(duì)大量疑似垃圾郵件，基于內(nèi)容的過濾也耗費(fèi)了大量的處理時(shí)間。因此，必須尋求新的方法和算法。
　　 提出了基于數(shù)據(jù)挖掘的行為識(shí)別垃圾郵件過濾系統(tǒng)框架。對(duì)采集的數(shù)據(jù)提取行為特征，并將行為特征分為會(huì)話行為特征、信頭行為特征和統(tǒng)計(jì)行為特征，采用特征選擇算法選擇能夠有效地預(yù)測(cè)訓(xùn)練數(shù)據(jù)類屬性的特征，經(jīng)數(shù)據(jù)預(yù)處理，從數(shù)據(jù)中挖掘出垃圾郵件行為判定規(guī)則的知識(shí)。
　　 提出了基于多級(jí)結(jié)構(gòu)的垃圾郵件行為模式挖掘模型，針對(duì)不同類型的行為特

3、征，采用不同的模式挖掘算法：對(duì)MTA(Mail Transport Agent：郵件傳輸代理)會(huì)話階段的行為特征，提出了基于決策樹的垃圾郵件發(fā)送行為識(shí)別模型。它不需要接收整封郵件，通過挖掘郵件會(huì)話過程中所表現(xiàn)出的行為特征，在會(huì)話階段提前過濾掉垃圾郵件。對(duì)用戶發(fā)送行為采用直方圖距離法來檢測(cè)異常用戶發(fā)送行為。通過計(jì)算附件的指紋特征、統(tǒng)計(jì)特征，構(gòu)建附件的特征向量，利用支持向量機(jī)模型來對(duì)垃圾郵件的附件行為建模。計(jì)算URL(Uniform Res

4、ource Locator：統(tǒng)一資源定位)之間的相似度，構(gòu)建包含相似URL的群組，通過計(jì)算樣本與URL群組的最小距離并轉(zhuǎn)換成分類輸出的置信度來判別垃圾郵件行為。
　　 由于傳統(tǒng)的貝葉斯垃圾郵件過濾在誤判和漏判帶來的損失方面沒有進(jìn)行關(guān)注，提出了一種貝葉斯算法的改進(jìn)算法，引入了損失因子，在不降低正確率的情況下，使得垃圾郵件誤判的風(fēng)險(xiǎn)減到最低。若選擇合適的損失因子，正確率和召回率都能達(dá)到一個(gè)比較理想的效果。利用該算法將各模型判別結(jié)果關(guān)

5、聯(lián)起來，通過對(duì)聯(lián)合貝葉斯模型和附件模型、發(fā)送發(fā)送行為模型、URL模型的性能比較，驗(yàn)證了改進(jìn)的貝葉斯聯(lián)合模型相對(duì)單個(gè)模型來說，能夠較大地提高分類性能。
　　 提出了基于模糊決策樹的分類方法。由于絕對(duì)明確的屬性并不總是存在于現(xiàn)實(shí)世界中，屬性隸屬度能更自然和合理地描述行為特征，因此相對(duì)于清晰決策樹來說，模糊決策樹更適合。模糊決策樹算法使得決策樹學(xué)習(xí)的應(yīng)用范圍擴(kuò)大從而能夠處理不確定性，它合理地處理了學(xué)習(xí)和推理過程中的不精確信息，具有更強(qiáng)