文本聚類(lèi)分析效果評(píng)價(jià)及文本表示研究.pdf

1、隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展與應(yīng)用，數(shù)字化的文本數(shù)據(jù)數(shù)量不斷增長(zhǎng)，互聯(lián)網(wǎng)的發(fā)展更加劇了數(shù)字文本的膨脹。在這種背景下，利用聚類(lèi)分析技術(shù)對(duì)文本數(shù)據(jù)進(jìn)行簡(jiǎn)化表示，通過(guò)聚類(lèi)分析技術(shù)對(duì)信息檢索結(jié)果進(jìn)行重新組織、加速信息檢索速度、實(shí)現(xiàn)信息的個(gè)性化推送都是一系列極具發(fā)展前景的應(yīng)用。在與文本聚類(lèi)分析相關(guān)的研究中，可用的算法種類(lèi)眾多且難以選擇與比較，因此對(duì)文本的聚類(lèi)結(jié)果進(jìn)行有效評(píng)價(jià)非常關(guān)鍵。目前，評(píng)價(jià)方法比較混亂，缺乏得到普遍認(rèn)同的評(píng)價(jià)方法及與之相關(guān)的深入研

2、究。這導(dǎo)致在實(shí)際應(yīng)用中選擇算法、選擇參數(shù)時(shí)缺乏一個(gè)科學(xué)的依據(jù)。在研究與實(shí)際應(yīng)用中，評(píng)價(jià)文本聚類(lèi)分析效果有哪些指標(biāo)，各有什么特性，不同的文本聚類(lèi)分析算法效果哪個(gè)好哪個(gè)不好，哪個(gè)更好，怎樣才能更好，這些都是需要研究人員進(jìn)行回答的問(wèn)題。 這些問(wèn)題歸結(jié)到底都是一個(gè)文本聚類(lèi)效果的評(píng)價(jià)問(wèn)題。本文圍繞文本聚類(lèi)效果評(píng)價(jià)、提高文本聚類(lèi)分析效果這個(gè)目的，主要完成了文本聚類(lèi)分析評(píng)價(jià)以及文本表示模型研究?jī)蓚€(gè)方面的工作，論文的具體工作內(nèi)容包括：

3、(1)影響文本聚類(lèi)效果的因素分析。詳細(xì)分析了可能影響文本聚類(lèi)分析效果的三個(gè)因素：文本表示模型、距離度量方法和聚類(lèi)分析算法： (2)詳細(xì)介紹了兩類(lèi)評(píng)價(jià)標(biāo)準(zhǔn)下對(duì)應(yīng)的具體評(píng)價(jià)指標(biāo)，清晰界定了基于人工判定的指標(biāo)和基于目標(biāo)函數(shù)的指標(biāo)兩大類(lèi)別，分清各自的應(yīng)用場(chǎng)景，著重介紹基于人工判定的系列指標(biāo)以及其特性，推薦使用熵和基于類(lèi)的F值兩個(gè)指標(biāo)； (3)實(shí)現(xiàn)了包括文本解析、文本聚類(lèi)分析、文本聚類(lèi)效果評(píng)價(jià)分析三個(gè)模塊的實(shí)用軟件包，軟件包實(shí)現(xiàn)了

4、多種文本解析方法、聚類(lèi)分析算法及評(píng)價(jià)指標(biāo)，三個(gè)模塊可各自獨(dú)立使用，可擴(kuò)展性強(qiáng)： (4)應(yīng)用軟件包進(jìn)行實(shí)驗(yàn)分析。主要分析HAC算法中大類(lèi)現(xiàn)象的出現(xiàn)位置、原因和啟示，對(duì)HAC與K-Means算法進(jìn)行效能分析、對(duì)多種影響因素的影響力進(jìn)行比較分析，對(duì)主要聚類(lèi)算法效果進(jìn)行橫向比較。主要結(jié)論包括：a)文本HAC算法的聚類(lèi)效果是一個(gè)先變好后變壞的過(guò)程，算法先按照文本語(yǔ)義逐漸凝聚簇直至臨界點(diǎn)，臨界點(diǎn)后出現(xiàn)大類(lèi)傾向，質(zhì)量丌始變壞。文本表示與文本語(yǔ)

5、義之間的不完全對(duì)應(yīng)造成了這種現(xiàn)象，解決方案建議在臨界點(diǎn)之前停止簇合并避免質(zhì)量變差或者淘汰干擾簇等；b)英文文本處理中的Lower處理以及不進(jìn)行Stem處理可以適當(dāng)提高最終聚類(lèi)效果的質(zhì)量；c)VSM模型中的ltc特征權(quán)重度量方法相對(duì)于nnn、Lnu、OKAPI中的BM25等方法更優(yōu)：d)在本文的實(shí)驗(yàn)中通過(guò)適當(dāng)?shù)拈撝翟O(shè)置，NN算法可以產(chǎn)生高質(zhì)餐的小簇，從整體效果上而言K-Means基本優(yōu)于HAC、K-Means Bisecting和NN聚類(lèi)

6、算法； (5)對(duì)文本表示進(jìn)行探索性的研究。文本聚類(lèi)歸根結(jié)底是語(yǔ)義相同或者相近的同質(zhì) 文本聚成一個(gè)團(tuán)，文本表示是決定文本能否按照語(yǔ)義正確聚到一起最綦本的決定因素。本文針對(duì)VSM文本表示模型的特性與缺陷進(jìn)行分析，引入序關(guān)系提出了文本的圖表示模型并予以實(shí)驗(yàn)檢，嘗試打破特征項(xiàng)的獨(dú)立性假設(shè)尋找語(yǔ)義單元。 本文的主要貢獻(xiàn)有三點(diǎn)：(1)確立了文本聚類(lèi)評(píng)價(jià)指標(biāo)體系，結(jié)合聚類(lèi)評(píng)價(jià)指標(biāo)體系對(duì)影響文本聚類(lèi)效果的因素進(jìn)行深入研究，實(shí)現(xiàn)了一個(gè)有