郵件分類(lèi)的意群算法研究.pdf

1、垃圾郵件的過(guò)濾是互聯(lián)網(wǎng)時(shí)代一個(gè)重要的研究領(lǐng)域。郵件分類(lèi)是垃圾郵件過(guò)濾的先決條件，其往往受用戶(hù)主觀性的影響較大，因此基于郵件內(nèi)容的郵件分類(lèi)技術(shù)越來(lái)越受到研究者的重視，其中文本分類(lèi)技術(shù)是實(shí)現(xiàn)基于內(nèi)容的郵件分類(lèi)的重要方式。
　　 目前的中文文本分類(lèi)技術(shù)大多借鑒英文的研究成果，對(duì)于中文的語(yǔ)言特點(diǎn)未多加考慮，僅僅從詞語(yǔ)的層面提取特征項(xiàng)表示文本，未考慮詞語(yǔ)之間的語(yǔ)法語(yǔ)義聯(lián)系，分類(lèi)準(zhǔn)確率較低。
　　 綜合以上的分析，本文結(jié)合中文的語(yǔ)言

2、學(xué)特點(diǎn)，提出中文文本意群分類(lèi)算法，并將其應(yīng)用于電子郵件的分類(lèi)中。本文的主要工作有如下的幾個(gè)方面:
　　 (1)對(duì)文本分類(lèi)和電子郵件的基礎(chǔ)知識(shí)進(jìn)行了簡(jiǎn)單的介紹，例如文本分類(lèi)的流程，關(guān)鍵技術(shù)與分類(lèi)算法原理，深入探討中文語(yǔ)言構(gòu)成的特點(diǎn)與處理難點(diǎn)，并對(duì)基于文本分類(lèi)的郵件分類(lèi)現(xiàn)狀進(jìn)行了討論。
　　 (2)依存語(yǔ)法可以表達(dá)詞語(yǔ)之間的語(yǔ)法關(guān)系，但目前的中文依存句法分析未進(jìn)行語(yǔ)義的結(jié)構(gòu)排歧，針對(duì)依存句法分析存在的搭配錯(cuò)誤本文提出了融合語(yǔ)

3、義的依存句法分析方法，對(duì)存在的歧義結(jié)構(gòu)從語(yǔ)義角度對(duì)語(yǔ)法進(jìn)行約束。實(shí)驗(yàn)證明了該方法提升了依存分析的準(zhǔn)確率。
　　 (3)針對(duì)中文復(fù)句識(shí)別中忽略無(wú)標(biāo)復(fù)句處理的問(wèn)題進(jìn)行了完善，結(jié)合條件隨機(jī)場(chǎng)的原理，本文提出了基于中文依存句法和條件隨機(jī)場(chǎng)的復(fù)句識(shí)別方法，并用實(shí)驗(yàn)驗(yàn)證了方法對(duì)復(fù)句識(shí)別的較高性能。
　　 (4)提出中文文本意群分類(lèi)算法，首先利用融合語(yǔ)義的依存句法的分析結(jié)果制定了意群提取規(guī)則，進(jìn)行意群提取，將意群作為表示文本的特征項(xiàng);

4、其次利用所提的復(fù)句識(shí)別方法對(duì)復(fù)句進(jìn)行識(shí)別，并按照中文的理解方式對(duì)不同的復(fù)句定義了不同的復(fù)句權(quán)重，將tf.idf.IG權(quán)重算法和復(fù)句權(quán)重綜合作為意群的特征權(quán)重;最后利用支持向量機(jī)的分類(lèi)算法實(shí)現(xiàn)分類(lèi)。通過(guò)實(shí)驗(yàn)表明了提出算法的有效性。
　　 (5)將中文文本意群分類(lèi)算法應(yīng)用于電子郵件分類(lèi)中，并針對(duì)郵件分類(lèi)的特點(diǎn)進(jìn)行了反饋調(diào)整，增加用戶(hù)個(gè)性化標(biāo)準(zhǔn)，結(jié)果表明郵件分類(lèi)的意群算法查準(zhǔn)率和查全率均達(dá)到了96％以上的良好性能。
　　 本文