基于復(fù)雜網(wǎng)絡(luò)的中文文本分類研究.pdf

1、隨著互聯(lián)網(wǎng)信息爆炸式的增長,可以方便用戶快速、準(zhǔn)確定位所需信息的文本自動分類技術(shù)變得越來越重要。傳統(tǒng)文本分類中廣泛采用的基于向量空間模型的文本表示方法中,由于其假設(shè)特征詞之間是相互獨立的,即忽略了詞語間的語義關(guān)系,因而容易造成文本語義信息的缺失。此外,漢語是一種表意型語言,較詞語的形式,其更注重詞語內(nèi)涵的語義,而且漢語中蘊含著大量詞語語義相關(guān)關(guān)系以及存在上下文依賴現(xiàn)象,這些使得中文所蘊含的語義信息較其他注重形式和結(jié)構(gòu)的語言(如英語)更加

2、豐富,所以基于向量空間的文本表示模型更加難以完整描述中文文本所蘊含的語義信息。
　　為解決上述向量空間模型中文本結(jié)構(gòu)和語義信息的缺失問題。本文將復(fù)雜網(wǎng)絡(luò)理論引入到中文文本分類過程中,將語義學(xué)理論與文本表示有效的融合,首先以詞語間的詞同現(xiàn)關(guān)系為基礎(chǔ)構(gòu)建單一文本加權(quán)復(fù)雜網(wǎng)絡(luò)來表示中文文本,該文本表示方法除包含特征詞本身信息外,還可以體現(xiàn)出特征詞之間的語義相關(guān)關(guān)系及上下文結(jié)構(gòu)信息;然后,為減少計算的復(fù)雜度,本文通過復(fù)雜網(wǎng)絡(luò)的小世界特性進

3、行文本特征選擇,利用節(jié)點綜合特性提取反映文本主題的關(guān)鍵詞作為文本的特征詞,以優(yōu)化文本網(wǎng)絡(luò)結(jié)構(gòu),降低文本網(wǎng)絡(luò)復(fù)雜性;再次,通過引入最大公共子圖理論在復(fù)雜網(wǎng)絡(luò)表示文本表示下進行文本相似度計算,以此減少語義流失,并結(jié)合 KNN 文本分類思想構(gòu)建文本分類模型及相應(yīng)分類算法;最后,為驗證本文提出的基于復(fù)雜網(wǎng)絡(luò)的中文文本分類算法的效果,分別從特征選擇算法、文本相似度計算方法、文本分類算法與相應(yīng)傳統(tǒng)方法進行對比實驗。實驗結(jié)果表明將復(fù)雜網(wǎng)絡(luò)引入到中文文