文本分類中詞語權(quán)重計算方法的改進及應(yīng)用.pdf

1、重慶大學(xué)碩士學(xué)位論文文本分類中詞語權(quán)重計算方法的改進及應(yīng)用碩士研究生：黎剛指導(dǎo)教師：熊忠陽教授學(xué)科、專業(yè)：計算機系統(tǒng)結(jié)構(gòu)重慶大學(xué)計算機學(xué)院二OO七年十月I摘要互聯(lián)網(wǎng)的發(fā)展和信息技術(shù)的進步，帶來了信息量的猛增，人們很難在浩瀚的信息中找到真正需要的信息，雖然各種搜索引擎的出現(xiàn)在一定程度上解決了這一問題，但是各種搜索引擎都是簡單的看是否包含關(guān)鍵字，這樣搜索結(jié)果十分龐大，并且不利于用戶找到需要的信息。文本自動分類是一個有效的辦法，已經(jīng)成為一項具

2、有使用價值的關(guān)鍵技術(shù)。近年來多種統(tǒng)計理論和機器學(xué)習(xí)方法被用來進行文本的自動分類，掀起了文本自動分類的研究和應(yīng)用的熱潮。文本自動分類問題的最大特點和困難之一是特征空間的高維性和文檔表示向量的稀疏性。尋求一種有效的詞語權(quán)重的計算方法，降低特征空間的維數(shù)提高分類的效率和精度，成為文本自動分類中的首要問題。因此，本文在研究中文文本分類的過程中，重點放到了詞語權(quán)重的計算方法的改進上，在此過程中做了如下的工作：①分析了傳統(tǒng)詞語權(quán)重計算方法的三個缺點

3、：第一，沒有考慮特征項在類間的分布信息。第二，沒有考慮特征項在類內(nèi)的分布信息。第三，沒有考慮特征項不完全分類的情況。本文從詞語的頻度，集中度和離散度三個角度進行考慮，提出了本文的詞語權(quán)重計算方法：TFIDFDIWFDB。②用特征詞在類間和類內(nèi)部的離散度來描述特征詞在類間和類內(nèi)部分布的情況，形成了TFIDFDI的詞語權(quán)重計算方法；同時進一步針對傳統(tǒng)詞語權(quán)重計算方法沒有考慮特征項不完全分類的情況引入了詞頻差異WFDB來進行修正，從而形成了本

4、文的詞語權(quán)重計算方法：TFIDFDIWFDB，彌補了上述缺點。③用實驗證明，本文提出的改進的詞語權(quán)重的計算方法TFIDFDIWFDB，用于KNN分類結(jié)果，好于傳統(tǒng)詞語權(quán)重計算方法用于KNN的分類結(jié)果。實驗結(jié)果表明，無論從整體混淆矩陣、總體查全率、查對率、以及各個類的查全率、查對率方面，改進的詞語權(quán)重計算方法的分類效果都要好于用傳統(tǒng)的詞語權(quán)重計算方法的分類效果。④在改進的詞語權(quán)重的計算方法TFIDFDIWFDB的基礎(chǔ)上，本文進一步用遺傳算