基于2度頻繁詞序列的文本聚類(lèi)算法研究.pdf

1、隨著信息技術(shù)的發(fā)展，以電子形式存在的文本信息已經(jīng)成為人們主要的信息來(lái)源。文本挖掘成為人們發(fā)現(xiàn)資源和知識(shí)的重要工具，不需要預(yù)先定義類(lèi)別信息的文本聚類(lèi)成為文本挖掘一個(gè)新的研究熱點(diǎn)。 傳統(tǒng)的聚類(lèi)算法沒(méi)有解決文本數(shù)據(jù)的高維度，聚類(lèi)準(zhǔn)確度低，沒(méi)有為聚類(lèi)結(jié)果提供一個(gè)合理的類(lèi)描述等問(wèn)題?；陬l繁詞集合的文本聚類(lèi)算法采用頻繁詞進(jìn)行聚類(lèi)，解決了這些問(wèn)題?；陬l繁詞集合的層次文本聚類(lèi)算法提出了以簇為中心的思想，提供了一個(gè)便于瀏覽的主題層次結(jié)構(gòu)，但是

2、作為簇標(biāo)簽的頻繁詞集合有時(shí)不能很好的表示文本的語(yǔ)義信息。基于頻繁詞序列的文本聚類(lèi)算法利用能夠更好地反映文檔的主題的頻繁詞序列進(jìn)行聚類(lèi)，提高了聚類(lèi)的精確度，但是簇之間存在大量重疊。 本文的主要工作如下： 1.針對(duì)基于頻繁詞序列的文本聚類(lèi)算法利用頻繁詞序列構(gòu)建初始聚類(lèi)后沒(méi)有設(shè)法將文本指派到合適的簇中，造成了大量的簇間重疊。本文通過(guò)在文本中對(duì)簇標(biāo)簽進(jìn)行2度頻繁詞序列的驗(yàn)證將文本指定到合適的簇，彌補(bǔ)了基于頻繁詞序列文本聚類(lèi)算法的

3、不足，提高了聚類(lèi)的精確度。 2.向量空間模型進(jìn)行文本表示時(shí)忽略了特征詞之間次序的語(yǔ)義信息。本文提出了2度頻繁詞序列的概念，用2度頻繁詞序列構(gòu)建了一種新的文本表示模型，該模型保留了文檔中的頻繁詞序列和序列中的詞語(yǔ)，更好的表達(dá)了文本的語(yǔ)義。 3.在改進(jìn)算法理論的基礎(chǔ)上，通過(guò)實(shí)驗(yàn)與基于頻繁詞序列的文本聚類(lèi)算法進(jìn)行比較。實(shí)驗(yàn)結(jié)果表明：改進(jìn)的算法在一定程度上解決了基于頻繁詞序列的文本聚類(lèi)算法初始聚類(lèi)簇間重疊過(guò)大的問(wèn)題，算法無(wú)論在傳