基于改進(jìn)詞語(yǔ)權(quán)重的文本分類方法研究.pdf

1、信息科技飛速發(fā)展的今天,互聯(lián)網(wǎng)技術(shù)也得到了迅猛發(fā)展,電子文檔的數(shù)量呈現(xiàn)了指數(shù)級(jí)增長(zhǎng),海量信息為用戶提供方便的同時(shí),也給用戶獲取有用信息帶來(lái)了不便。如何有效地幫助用戶查找、組織和管理這些信息,并且快速、準(zhǔn)確地找到用戶所需的有用信息已成為當(dāng)今研究的重要課題。正是在這樣的背景之下,基于機(jī)器學(xué)習(xí)的文本分類方法逐漸成為一個(gè)日益重要的研究領(lǐng)域。
　　 文本分類是信息檢索與數(shù)據(jù)挖掘領(lǐng)域的研究熱點(diǎn)與核心技術(shù),近年來(lái)得到了廣泛的關(guān)注和快速的發(fā)展。

2、文本分類系統(tǒng)能夠在給定的分類模型下,根據(jù)文本的內(nèi)容對(duì)文本進(jìn)行分類,從而更好地幫助人們組織和挖掘文本信息,因此成為信息處理領(lǐng)域最重要的研究方向之一,具有較大的發(fā)展?jié)摿?。文本分類具有很大的?shí)用價(jià)值,它在信息檢索和信息過(guò)濾等方面有著廣泛的應(yīng)用,極大地提高了信息的使用效率。
　　 本文研究的重點(diǎn)是通過(guò)改進(jìn)傳統(tǒng)的詞語(yǔ)權(quán)重計(jì)算方法來(lái)提高文本分類精度。在對(duì)傳統(tǒng)的基于詞語(yǔ)權(quán)重的文本分類方法作了深入研究的基礎(chǔ)上,改進(jìn)傳統(tǒng)的詞語(yǔ)加權(quán)方法一tf-id

3、f方法,得到一種新的詞語(yǔ)加權(quán)方法。傳統(tǒng)的詞語(yǔ)加權(quán)方法只考慮tf(詞頻)、idf(反文檔頻率)兩方面,并且簡(jiǎn)單地認(rèn)為低頻詞比高頻詞重要,所以,往往把稀有詞賦予較高的權(quán)值,但在實(shí)際當(dāng)中,稀有詞幾乎不能作為文本的特征來(lái)表示文本。為了彌補(bǔ)這個(gè)缺點(diǎn),本文提出了新的計(jì)算詞語(yǔ)權(quán)重的方法,來(lái)提高分類的效率和精度。并通過(guò)實(shí)驗(yàn)驗(yàn)證了該方法的可行性和高效性。
　　 實(shí)驗(yàn)表明,本文提出的改進(jìn)詞語(yǔ)權(quán)重的計(jì)算方法,在數(shù)據(jù)集Reuters-21578上使用K