聚類(lèi)分析中的相似性度量及其應(yīng)用研究.pdf

1、在機(jī)器學(xué)習(xí)研究中，聚類(lèi)作為一種無(wú)監(jiān)督學(xué)習(xí)方式，得到了來(lái)自統(tǒng)計(jì)學(xué)、計(jì)算機(jī)科學(xué)等領(lǐng)域研究者的廣泛關(guān)注，它不但是數(shù)據(jù)挖掘的重要組成部分，也是模式識(shí)別領(lǐng)域中備受關(guān)注的基礎(chǔ)問(wèn)題。在聚類(lèi)分析中，數(shù)據(jù)元素是按照相互之間的相似性進(jìn)行分類(lèi)的。聚類(lèi)的目標(biāo)就是最大化同類(lèi)數(shù)據(jù)元素之間相似性的同時(shí)，最大化不同類(lèi)數(shù)據(jù)元素之間的差異性。并且，由于聚類(lèi)的無(wú)監(jiān)督特性，對(duì)于聚類(lèi)結(jié)果合理性的判斷也是需要探討的課題。綜合來(lái)看，聚類(lèi)分析涉及到三類(lèi)相似性度量，即數(shù)據(jù)對(duì)象之間的相似

2、性、類(lèi)對(duì)象之間的相似性以及不同聚類(lèi)結(jié)果之間的相似性。因此，采用聚類(lèi)分析方法來(lái)完成圖像處理任務(wù)時(shí)，相似性度量是其中的關(guān)鍵問(wèn)題。
　　本文首先對(duì)聚類(lèi)分析的概念、處理過(guò)程、算法分類(lèi)、相似性度量問(wèn)題以及聚類(lèi)在圖像處理中的應(yīng)用作了簡(jiǎn)要概述。然后本文以信息論中的經(jīng)典理論為依據(jù)，從信息的角度分別對(duì)聚類(lèi)分析中三類(lèi)相似性度量問(wèn)題進(jìn)行了探討，并針對(duì)圖像處理中的幾類(lèi)問(wèn)題，即圖像聚類(lèi)、輪廓編組、圖像過(guò)分割的處理以及圖像分割的評(píng)估，驗(yàn)證了所提出方法的合理性

3、和有效性。本文的主要?jiǎng)?chuàng)新點(diǎn)簡(jiǎn)要概括為:
　　第一，數(shù)據(jù)對(duì)象之間的相似性度量之一——采用Bregman散度處理復(fù)雜數(shù)據(jù)對(duì)象的相似性度量。在對(duì)圖像數(shù)據(jù)進(jìn)行相似性度量時(shí)，需要同時(shí)考慮兩方面的問(wèn)題，即如何對(duì)圖像數(shù)據(jù)進(jìn)行表示，以及采用何種度量方法評(píng)價(jià)兩個(gè)圖像數(shù)據(jù)對(duì)象之間的相似程度。本文提出在信息瓶頸理論框架下，將“詞袋”模型的圖像表示與Bregman散度度量相結(jié)合，實(shí)現(xiàn)了更具有語(yǔ)義信息的圖像內(nèi)容聚類(lèi)。該方法概括來(lái)說(shuō)有以下三個(gè)特點(diǎn):采用“詞袋

4、”模型的圖像表示可以利用多種先進(jìn)的特征提取算法（如各種興趣點(diǎn)檢測(cè)技術(shù)）捕捉到圖像中更豐富的內(nèi)容信息，并產(chǎn)生基于視覺(jué)單詞的特征分布;根據(jù)信息瓶頸理論，圖像聚類(lèi)的目標(biāo)是使得聚類(lèi)后圖像變量與特征變量之間的互信息損失量最小;采用Bregman散度聚類(lèi)算法最小化互信息損失量，算法步驟與k-means相似，且Bregman算法中的KL距離對(duì)應(yīng)著k-means算法中的歐氏距離。
　　第二，數(shù)據(jù)對(duì)象之間的相似性度量之二——利用數(shù)據(jù)對(duì)象之間的多元相

5、似性關(guān)系提高聚類(lèi)算法的抗干擾能力。對(duì)于用聚類(lèi)方法來(lái)進(jìn)行輪廓編組，我們提出在基于信息的聚類(lèi)方法的框架下，通過(guò)多特征編組線(xiàn)索來(lái)計(jì)算數(shù)據(jù)對(duì)象之間的“集合相似度”，而不再限于二元相似性度量值，得到的度量量值也稱(chēng)為多特征相似度或多元相似度。然后，我們將多元相似度值作為輸入，用信息聚類(lèi)的方法來(lái)對(duì)邊緣特征進(jìn)行編組。實(shí)驗(yàn)結(jié)果表明，相對(duì)于二元相似度，基于多元相似度的輪廓編組質(zhì)量在相同誤差或干擾條件下（如存在特征描述誤差及背景噪聲數(shù)據(jù)）有明顯的提高。

6、>　　第三，類(lèi)對(duì)象之間的相似性度量——提出將信息學(xué)習(xí)理論中定義的信息勢(shì)和Renyi“交叉”熵用于聚類(lèi)中子類(lèi)間的相似性度量。對(duì)于一些容易產(chǎn)生過(guò)分割的算法，我們可在初始分割的基礎(chǔ)上，根據(jù)類(lèi)間信息熵的大小，采用聚合迭代的方法得到層次化的聚類(lèi)結(jié)構(gòu)。實(shí)驗(yàn)結(jié)果顯示，在幾種具有代表性的人造數(shù)據(jù)集上，基于信息熵的類(lèi)間距離度量方法比三種傳統(tǒng)度量方法（單聯(lián)接、完全聯(lián)接和平均聯(lián)接）有更好的層次化聚類(lèi)效果。此外，我們測(cè)試了在圖像過(guò)分割的情況下，類(lèi)間信息熵對(duì)于子

7、分割區(qū)域的合并效果。
　　第四，不同聚類(lèi)結(jié)果之間的相似性度量——擴(kuò)展傳統(tǒng)的正則化互信息度量指標(biāo)，使其應(yīng)用于算法聚類(lèi)結(jié)果與多個(gè)標(biāo)準(zhǔn)聚類(lèi)結(jié)果進(jìn)行比較的情況。在實(shí)際應(yīng)用中，對(duì)于某一幅圖像，人為標(biāo)定的標(biāo)準(zhǔn)分割結(jié)果通常不是唯一的，不同的測(cè)試對(duì)象會(huì)根據(jù)主觀經(jīng)驗(yàn)得出不同粒度等級(jí)下的分割結(jié)果。為了體現(xiàn)分割結(jié)果的不確定性和多樣性，充分利用人為標(biāo)定的分割信息，聚類(lèi)結(jié)果之間的相似性度量應(yīng)擴(kuò)展為可處理包含多幅標(biāo)準(zhǔn)分割圖像的情況，因此我們提出了一種基于信息