基于知網(wǎng)的文本分類(lèi)算法研究及應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，網(wǎng)絡(luò)上的文本信息資源日趨豐富，互聯(lián)網(wǎng)已經(jīng)成為世界上最為巨大的信息倉(cāng)庫(kù)，也逐步成為公安機(jī)關(guān)新的重要公開(kāi)情報(bào)源。然而面對(duì)浩如煙海的文本數(shù)據(jù)，公安機(jī)關(guān)不可能簡(jiǎn)單依靠人工去分析，文本分類(lèi)是對(duì)文檔信息進(jìn)行自動(dòng)的有序組織的方法，能夠大大提高公安人員的工作效率，但傳統(tǒng)的文本分類(lèi)算法存在高維稀疏、多義詞和忽略詞語(yǔ)間語(yǔ)義上的聯(lián)系等不足，不能滿(mǎn)足現(xiàn)有公安情報(bào)分析工作的需求，在此背景下本文對(duì)文本分類(lèi)算法進(jìn)行了研究，并將研究成果應(yīng)用到某省

2、的實(shí)際公安情報(bào)項(xiàng)目中。 本文首先介紹了文本分類(lèi)的定義、一般過(guò)程和常用算法，總結(jié)了當(dāng)前的研究現(xiàn)狀；其次，為了更為準(zhǔn)確地獲取文本的概念特征，提出基于知網(wǎng)和上下文加權(quán)的詞義消歧算法(HCWSD)；然后，針對(duì)傳統(tǒng)文本分類(lèi)算法的不足，提出基于知網(wǎng)的文本分類(lèi)算法(HOTC)。最后，將HCWSD算法和HOTC算法應(yīng)用于公安情報(bào)項(xiàng)目的分類(lèi)系統(tǒng)中。本文的主要研究?jī)?nèi)容如下： (1)提出基于知網(wǎng)和上下文加權(quán)的詞義消歧算法(HCWSD)，該算法

3、借助知網(wǎng)詞典將歧義詞的義項(xiàng)與其上下文語(yǔ)境詞確定的詞義計(jì)算加權(quán)的語(yǔ)義相關(guān)度來(lái)對(duì)歧義詞進(jìn)行實(shí)時(shí)消歧無(wú)需語(yǔ)料庫(kù)訓(xùn)練，克服了傳統(tǒng)算法未考慮上下文距離對(duì)相關(guān)度計(jì)算的影響和計(jì)算存在不合理性等缺點(diǎn)。 (2)提出基于知網(wǎng)和統(tǒng)計(jì)的概念相似度計(jì)算方法，該方法充分利用了知網(wǎng)詞典和數(shù)據(jù)集的統(tǒng)計(jì)信息，克服了傳統(tǒng)方法未考慮在不同數(shù)據(jù)集中詞語(yǔ)相似度計(jì)算的不同的缺點(diǎn)。提出文本語(yǔ)義相似度的修正公式，克服了傳統(tǒng)公式計(jì)算量大和計(jì)算不全面的不足。 (3)針對(duì)傳