中文文本挖掘技術(shù)的研究與應(yīng)用.pdf

1、數(shù)據(jù)挖掘已經(jīng)是一個發(fā)展很成熟的研究領(lǐng)域，它給人們提供了一個從大量雜亂無章的信息中獲取有用價值信息的方法。目前，對于非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)已有很多研究，而對于網(wǎng)絡(luò)中出現(xiàn)的越來越多的文本數(shù)據(jù)的挖掘技術(shù)研究還較少。文本中包含著豐富的內(nèi)涵和知識，如何對大量的文本數(shù)據(jù)進行挖掘也是一個很重要的研究領(lǐng)域。文本分類是文本挖掘最基礎(chǔ)的應(yīng)用，是分析和處理大量文本數(shù)據(jù)的關(guān)鍵技術(shù)，它可以有效地解決大數(shù)據(jù)時代信息多而雜的問題，幫助人們準確高效的定位信息和分流

2、信息，因此具有廣泛的應(yīng)用前景。
　　本文對中文文本挖掘技術(shù)進行了研究，提出了一種新的基于特征義原擴展向量空間模型的文本分類方法，并實現(xiàn)分類器對分類方法進行驗證。本文主要研究內(nèi)容如下：
　　1.介紹了文本挖掘技術(shù)的原理和實現(xiàn)方法。作為文本挖掘的基礎(chǔ)，首先介紹了文本預(yù)處理流程，給出了預(yù)處理過程的具體步驟，包括：文本表示、中文分詞技術(shù)、特征提取和特征權(quán)值計算方法，及各個步驟采用的相關(guān)算法。然后，介紹了多種常用的文本分類方法，詳述了

3、各種方法的技術(shù)原理以及優(yōu)缺點。
　　2.提出了一種基于特征義原擴展向量空間模型（VSM）的文本分類方法。本文根據(jù)知網(wǎng)中的“義原”，改進了文本的特征選擇方法，重構(gòu)向量空間模型。首先對每個類別中的文本采用改進的TF-IDF方法選擇文本特征項，然后再從特征項中提取其中包含的特征義原，最后再對特征義原進行擴展，得到擴展后的特征項，生成該類別的義原文檔。最后通過對生成的義原文檔進行運算，得到每個特征義原的權(quán)值。
　　3.本文還介紹了原

4、始向量空間模型（VSM）和同義詞向量空間模型（VS M）。原始VSM，即采用原始特征選擇方法得到的VS M；同義詞VSM，指特征選擇經(jīng)過同義詞表處理后的 VSM。為了結(jié)合不同 VSM的優(yōu)勢，將三者融合，融合后的結(jié)果作為文本的特征項選擇空間，得到重構(gòu)的VSM模型，用來實現(xiàn)文本分類。
　　4.進行實驗驗證了基于擴展VSM的分類方法。本文通過采用不同特征選擇方法進行實驗，得到分類結(jié)果的準確率和召回率，并與本文中給出的擴展VSM方法的實驗