基于語(yǔ)義簇構(gòu)建隱馬爾可夫模型的文本分類方法研究.pdf

1、文本分類作為文本挖掘領(lǐng)域中一個(gè)非常重要的研究方向，對(duì)文本數(shù)據(jù)的組織、管理和處理具有重要意義，在信息檢索、數(shù)字圖書館、搜索引擎、文本信息過濾等領(lǐng)域有著廣泛的應(yīng)用。雖然文本分類的研究已經(jīng)取得不小的進(jìn)展，但目前為止仍有一些尚待解決的問題，例如，相關(guān)特征詞的信息度量，分類器的增量更新和在線更新，以及分類器性能隨類別數(shù)增加而降低等問題。本文圍繞上述問題展開研究，提出了一種基于語(yǔ)義簇構(gòu)建隱馬爾可夫模型的文本自動(dòng)分類方法，主要工作和創(chuàng)新點(diǎn)包括以下幾個(gè)

2、方面:
　　 (1)特征詞分類信息的度量
　　 在對(duì)比了幾種已有的特征詞分類信息的度量方法后，借鑒TF-IDF權(quán)重，對(duì)公式進(jìn)行了調(diào)整，使之可以針對(duì)特征詞的不同類別度量分類信息的權(quán)重，然后利用不同分類信息權(quán)重將特征詞進(jìn)行向量表示，實(shí)驗(yàn)表明特征詞向量可以很好的表達(dá)特征詞的分類信息。
　　 (2)提出建立層次語(yǔ)義簇模型的方法
　　 利用層次聚類方法對(duì)特征詞向量進(jìn)行聚類，所得層次語(yǔ)義簇簇內(nèi)相似度大，簇內(nèi)特征詞分類

3、信息相近，能夠表征這一類具有相似分類特性的特征詞。通過層次語(yǔ)義簇模型提出一種將文本序列化表示方法，文本序列表現(xiàn)出狀態(tài)轉(zhuǎn)移的特性。然后考察了聚類迭代截止閾值的確定問題和特征詞間相似度計(jì)算量過大的問題，并給出相應(yīng)解決方案。實(shí)驗(yàn)表明語(yǔ)義簇模型能夠達(dá)到降維和突出分類信息的目的。
　　 (3)文本分類器結(jié)構(gòu)設(shè)計(jì)
　　 針對(duì)訓(xùn)練集類別建立相互獨(dú)立的隱馬爾可夫模型，并據(jù)此提出了一種文本分類器結(jié)構(gòu)，分類器中文本模型互不耦合，文本模型與分