基于歸一化壓縮距離的文本譜聚類算法研究.pdf

1、隨著互聯(lián)網(wǎng)信息的快速增長，如何對海量文本信息進(jìn)行有效聚類一直是文本挖掘領(lǐng)域的研究熱點(diǎn)。傳統(tǒng)的文本聚類算法通常采用向量空間模型（VSM）進(jìn)行文本聚類，但是文本向量空間存在高維稀疏的問題，而且隨著文本數(shù)據(jù)規(guī)模的增大，向量空間維度隨之變大，需要對文本特征進(jìn)行選擇，并導(dǎo)致文本相似度計算復(fù)雜，聚類準(zhǔn)確度下降?；趬嚎s距離的通用相似度度量方法的提出，則為這一問題的研究提供了新的思路。
　　基于壓縮距離的聚類算法雖然具有普適性、領(lǐng)域無關(guān)性、參數(shù)

2、無關(guān)性等優(yōu)點(diǎn)，但是應(yīng)用到文本內(nèi)容語義信息聚類時往往準(zhǔn)確率較低。針對這一問題，論文首先提出了一種文本特征擴(kuò)展方法，該方法通過引用“百度百科”中特定詞條的名片信息，對預(yù)處理過的文本中關(guān)鍵詞進(jìn)行特征擴(kuò)展，并針對存在多條解釋語句的關(guān)鍵詞進(jìn)行特征擴(kuò)展降噪處理，提高特征詞的主題貢獻(xiàn)度。其次，提出了一種基于特征擴(kuò)展的文本聚類方法（DEF-KC），該方法與經(jīng)典文本聚類方法相比，省去了文本表示、特征提取、特征空間降維等復(fù)雜計算過程，增加了文本特征擴(kuò)展步驟