基于內(nèi)容特征分析的垃圾郵件過濾關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,電子郵件以操作簡(jiǎn)單、價(jià)格低廉等特點(diǎn)成為一種新的信息交互方式,深入人們的日常生活中.然而,日益泛濫的垃圾郵件對(duì)社會(huì)造成嚴(yán)重的經(jīng)濟(jì)損失和危害.垃圾郵件不但耗費(fèi)網(wǎng)絡(luò)資源及帶寬,浪費(fèi)用戶的時(shí)間和上網(wǎng)費(fèi)用,而且傳播有害信息,甚至被黑客用來傳播病毒.可見,研究有效地反垃圾郵件技術(shù)有著深遠(yuǎn)的社會(huì)意義和巨大的經(jīng)濟(jì)價(jià)值.
　　基于內(nèi)容的垃圾郵件過濾技術(shù)過濾效果較好,能及時(shí)捕捉垃圾郵件特征的變化,成為反垃圾郵件技術(shù)研究的熱點(diǎn)

2、.目前其在研究與應(yīng)用中取得一定的成果,但仍然存在一些亟需解決的問題.(1)數(shù)量巨大的訓(xùn)練樣本和過高的向量維數(shù)使郵件過濾運(yùn)算的時(shí)間和空間復(fù)雜度較高;(2)基于郵件內(nèi)容特征的判斷具有不確定性、不及時(shí)性等缺點(diǎn);(3)基于內(nèi)容的過濾技術(shù)忽略郵件的結(jié)構(gòu)特征;(4)單一技術(shù)難以滿足垃圾郵件過濾的需求.這些問題使得其面對(duì)不斷變化的垃圾郵件發(fā)送技術(shù)和傳播手段時(shí),性能有所下降.
　　本文針對(duì)內(nèi)容過濾中存在的以上問題展開研究,以提高垃圾郵件識(shí)別的準(zhǔn)確

3、率、召回率為目標(biāo),主要工作總結(jié)為以下三個(gè)方面:
　　(1)提出一種改進(jìn)優(yōu)勢(shì)率的特征選擇方法,減少郵件過濾運(yùn)算的時(shí)間和空間復(fù)雜度.
　　針對(duì)內(nèi)容過濾中訓(xùn)練樣本數(shù)量大和向量維數(shù)過高的問題,本文提出一種改進(jìn)優(yōu)勢(shì)率的特征選擇方法.首先,本文從分類器適應(yīng)性、數(shù)據(jù)集依賴性、時(shí)間復(fù)雜度三個(gè)方面評(píng)估現(xiàn)有特征選擇方法在郵件過濾中的性能.實(shí)驗(yàn)結(jié)果表明,優(yōu)勢(shì)率在綜合評(píng)估中優(yōu)于其它方法.其次,通過分析優(yōu)勢(shì)率所選特征及其計(jì)算公式,發(fā)現(xiàn)其忽略高頻特征、

4、難以選出對(duì)兩個(gè)類別都有貢獻(xiàn)的特征.最后,針對(duì)優(yōu)勢(shì)率的以上兩個(gè)缺點(diǎn),本文考慮詞頻因子、類別信息,改進(jìn)優(yōu)勢(shì)率計(jì)算公式.實(shí)驗(yàn)證明,改進(jìn)的優(yōu)勢(shì)率在保持郵件過濾準(zhǔn)確率的同時(shí),可進(jìn)一步降低郵件過濾運(yùn)算的時(shí)間和空間復(fù)雜度.
　　(2)提出一種結(jié)合特征與非特征信息的Na ve bayes算法,提高垃圾郵件過濾的準(zhǔn)確率.
　　針對(duì)基于內(nèi)容特征判斷的不確定性和忽略郵件結(jié)構(gòu)特征的問題,本文提出一種結(jié)合特征與非特征信息的樸素貝葉斯算法.該方法綜合考

5、慮郵件信頭和信體對(duì)識(shí)別垃圾郵件的貢獻(xiàn),有效地克服了對(duì)郵件內(nèi)容的依賴性,提高了郵件過濾的準(zhǔn)確性,降低了合法郵件的誤判率.在該方法中,本文首先分析郵件結(jié)構(gòu)特征,從信頭提取合法郵件與垃圾郵件的差異信息即非特征項(xiàng),從信體提取類別區(qū)分能力強(qiáng)的特征項(xiàng);其次,結(jié)合特征和非特征信息改進(jìn)樸素貝葉斯公式并用于郵件過濾.實(shí)驗(yàn)證明,該方法提高了垃圾郵件識(shí)別的準(zhǔn)確率和召回率.
　　(3)設(shè)計(jì)并實(shí)現(xiàn)層次垃圾郵件過濾模塊,并將其用于郵件服務(wù)器端實(shí)施過濾.