短信自動(dòng)分類技術(shù)研究與應(yīng)用.pdf

1、本文對(duì)短信分類的關(guān)鍵技術(shù)做了深入的討論。結(jié)合貝葉斯分類的文本分類方法和Bigram分詞的方法，并提出在移動(dòng)手機(jī)終端進(jìn)行雙層短信過濾模型，對(duì)傳統(tǒng)的文本分類進(jìn)行了改進(jìn)，有效地提高了短信文本分類的準(zhǔn)確率和普適性。
　　 本文首先介紹了傳統(tǒng)的文本分類問題的研究，回顧了文本分類領(lǐng)域已有的成果，介紹了文本分類領(lǐng)域中的幾個(gè)重要知識(shí)，包括文本分詞，文本表示，特征選擇，分類方法以及分類效率評(píng)估標(biāo)準(zhǔn)等。指出了隨著信息量的不斷發(fā)展，文本分類的重要性。

2、
　　 接著，本文討論了短信文本內(nèi)容相對(duì)于傳統(tǒng)文本分類時(shí)的長(zhǎng)文本的區(qū)別，介紹了短信相對(duì)普通文本的獨(dú)有特點(diǎn)。現(xiàn)有的諸多分類算法，直接應(yīng)用于短信分類時(shí)效果不理想，還不能快速有效地對(duì)短信進(jìn)行分類;同時(shí)，現(xiàn)有的研究大多是在PC平臺(tái)上對(duì)短信進(jìn)行處理，對(duì)于移動(dòng)手機(jī)端上的應(yīng)用環(huán)境研究較少，因此研究針對(duì)移動(dòng)終端上的短信分類算法有著一定的理論和實(shí)踐指導(dǎo)意義。針對(duì)移動(dòng)終端的運(yùn)算能力和存儲(chǔ)能力，本文沒有采用大型的分詞詞庫，而是采用簡(jiǎn)單易行的Bigra

3、m分詞方法，通過去除停用詞等手段對(duì)分詞結(jié)果進(jìn)行預(yù)處理，得到短信內(nèi)容的特征向量。計(jì)算量少，速度快，實(shí)驗(yàn)效果也較理想。由于短信相對(duì)于普通的文本，有其特有的外部特征，本文提出一個(gè)雙層過濾的短信分類模型，先根據(jù)短信的外部特征進(jìn)行一次預(yù)分類，對(duì)于不能確定的短信再進(jìn)行針對(duì)短信文本內(nèi)容的文本分類。通過不斷地積累數(shù)據(jù)集中的短信，本文采用了重新學(xué)習(xí)的自動(dòng)學(xué)習(xí)算法，讓分類器定期進(jìn)行重新運(yùn)算，調(diào)整各詞的先驗(yàn)概率，從而不斷提高系統(tǒng)分類的準(zhǔn)確率。