圖像準(zhǔn)稠密匹配及協(xié)同分割.pdf

1、如今,隨著軟件和硬件的迅猛發(fā)展,圖像已經(jīng)成為人們記錄信息的主流載體。相比于數(shù)字和文本而言,圖像數(shù)據(jù)包含了更為豐富的信息,這些信息對于人類,更客觀、語義層次更高,也更貼近現(xiàn)實(shí)。換言之,圖像反映了真實(shí)世界中的場景、物體、物體與物體之間的關(guān)系。而對于機(jī)器而言,圖像不過是以一定格式組織在一起的數(shù)據(jù)而已。那么,如何使機(jī)器能夠理解圖像的內(nèi)容是使機(jī)器理解真實(shí)世界的關(guān)鍵問題之一。也正是因?yàn)檫@個原因,圖像理解成為計算機(jī)視覺和模式識別領(lǐng)域中最基礎(chǔ)最重要的主

2、題之一。
　　計算機(jī)對圖像的理解,通常要從低層信息入手,挖掘圖像中具有代表性的信息,進(jìn)而組織信息。再通過尋找圖像之間信息的對應(yīng)性來探索更為高層的信息。這與人類認(rèn)知的本質(zhì)是極為一致的。圖像的特征主要分為兩類:全局圖像特征和局部圖像特征。全局圖像特征關(guān)注于圖像的整體信息,其優(yōu)點(diǎn)是簡單高效,但是它對圖像的變換、噪音和遮擋十分敏感。局部圖像特征則傾向于圖像的細(xì)節(jié),相比于全局圖像特征,其優(yōu)點(diǎn)在于它對圖像的變換、噪音和遮擋等因素具有良好的魯棒

3、性,但是處理的時間會增加。隨著硬件的快速更新以及現(xiàn)實(shí)任務(wù)的需求,局部圖像特征已成為圖像特征的主要研究對象。本論文從圖像的視覺信息出發(fā),對局部圖像特征的描述、場景級別的準(zhǔn)稠密匹配、物體級別的(準(zhǔn)稠密)匹配及物體的協(xié)同分割幾個方面開展研究。
　　1)賦予特征描述符以鏡面翻轉(zhuǎn)不變性的方法。盡管國內(nèi)外學(xué)者已經(jīng)設(shè)計了很多圖像特征描述的方法,這些方法能夠有效的處理圖像的縮放、旋轉(zhuǎn)和視角等變換。但是,對鏡面翻轉(zhuǎn)的情況卻鮮有研究。文中提出一種具有

4、鏡面翻轉(zhuǎn)不變性的特征描述框架,賦予傳統(tǒng)的特征描述符以鏡面翻轉(zhuǎn)的魯棒性并保持了原有的特性及優(yōu)勢,包括平移、旋轉(zhuǎn)和尺度不變性。我們并不是要設(shè)計一種全新的特征描述符,而是提出了一個框架能提供大多數(shù)特征描述符以翻轉(zhuǎn)不變性。鏡面翻轉(zhuǎn)不變性的提出拓寬了特征描述的應(yīng)用范圍。
　　2)加入三角形幾何約束的特征匹配方法。獲取了圖像特征的描述,圖像特征描述符的匹配是圖像理解的另一關(guān)鍵之處。衡量特征匹配性能主要包括兩個方面:1)正確匹配的數(shù)量和2)正確

5、匹配的比率。正確匹配數(shù)量對三維重建等任務(wù)十分關(guān)鍵,而正確匹配率則是結(jié)果正確性的保證。根據(jù)不同的應(yīng)用需求,傳統(tǒng)的匹配方法通常以犧牲一方而獲取另一方。這種此消彼長的模式限制了圖像理解本身以及其應(yīng)用的性能改善。本文提出了一種加入幾何約束的特征匹配方法,即三角約束特征匹配,來同時提高這兩個性能指標(biāo)得到準(zhǔn)稠密的、高精度的匹配結(jié)果,從而突破了長期以來存在的瓶頸。
　　3)物體級別的特征匹配算法和物體協(xié)同分割方法。相比于像素和局部特征,物體是人

6、類認(rèn)知中更為有效的單元。為此,本文還開展了基于圖像的特征描述符的匹配進(jìn)而挖掘圖像中的物體之間的關(guān)系。物體級別的匹配充分利用了匹配特征點(diǎn)對之間的尺度、旋轉(zhuǎn)、空間關(guān)系及描述符相似度,在沒有任何先驗(yàn)信息的情況下,有效的尋找物體之間的對應(yīng)關(guān)系。由于圖像的特征匹配是以點(diǎn)對的形式存在,很難覆蓋物體的全部信息。為了克服這一困難,本文最后設(shè)計了一種協(xié)同分割的方法,提出對應(yīng)物體的更多信息。
　　本文以圖像特征描述、圖像特征匹配、物體特征匹配和協(xié)同分