基于內(nèi)容的垃圾郵件過濾技術的若干研究.pdf

1、電子郵件系統(tǒng)是互聯(lián)網(wǎng)應用的一個成功典范，它誕生時間不長卻給人們的工作和生活的諸方面帶來了深刻變化。然而，電子郵件在給人們提供便捷通信手段的同時，也遭到了一些人的濫用。今天，垃圾郵件問題已經(jīng)愈演愈烈，對互聯(lián)網(wǎng)造成了很大危害。利用技術方法來阻擋垃圾郵件，是目前為止對付垃圾郵件問題最有效的手段。各種過濾技術中，內(nèi)容過濾技術，借鑒了在文本挖掘問題中獲得成功的機器學習算法，是目前研究較多的一種過濾技術。內(nèi)容過濾方法在分類的效果上以及在不需要太多人

2、工干預上都有很大優(yōu)勢，因此逐漸被廣泛接受。 我們分析了目前的垃圾郵件內(nèi)容過濾技術，認識到垃圾郵件過濾技術與普通的文本挖掘問題存在著很多不同，我們對之進行了分析并提出了一系列改進。同時我們分析了垃圾郵件過濾技術不能進一步實用化的原因，并針對這些原因提出了一些解決辦法。論文的具體內(nèi)容包括： (1)我們總結和分析了目前基于內(nèi)容的垃圾郵件過濾技術的現(xiàn)狀，包括文本表示、特征選擇、分類算法、評價體系，以及垃圾郵件過濾領域中常用的公共

3、語料庫。 (2)相比傳統(tǒng)文本挖掘問題處理的對象，郵件包含了種類更豐富的信息。我們通過對現(xiàn)有工作的總結和分析，站在一個更高的高度，對垃圾郵件過濾所能使用的特征進行了總結和分類。其中有關“屬性特征”的研究目前較少，我們對之進行了詳細研究，包括屬性特征的作用、如何將屬性特征與普通文本特征相結合、以及屬性特征的選擇方法等。 (3)郵件語料樣本的差異較大，尤其是在結構方面。我們從實驗和理論兩方面分析說明了郵件語料這種在結構上的差異

4、性，并分析了這種差異對垃圾郵件過濾造成的負面影響。在此基礎上，我們提出了一種基于結構特征的雙層垃圾郵件過濾模型，并針對這種模型做了一系列的實驗，結果表明常用分類器在使用這種模型后性能有較明顯的提升，尤其是Naive Bayes算法，在使用了這種模型之后，分類效果大大提高。 (4)盡管基于內(nèi)容的垃圾郵件過濾在技術上已經(jīng)比較成熟，但是在實用上并沒有得到與之相應的廣泛應用。我們分析了基于內(nèi)容的客戶端垃圾郵件過濾不能進一步擴大實用的原因