對草圖特征線的描述符用于大規(guī)模圖像檢索的一種評價

1、對草圖特征線的描述符用于大規(guī)模圖像檢索的一種評價對草圖特征線的描述符用于大規(guī)模圖像檢索的一種評價摘要摘要我們解決了在一個超過一百萬圖像的數(shù)據(jù)庫中，快速、大規(guī)?；诓輬D的圖像檢索的搜索問題。我們發(fā)現(xiàn)，目前的檢索方法不能很好地適用于交互監(jiān)督搜索背景下的大型數(shù)據(jù)庫，于是我們提出了兩種不同的方法。通過客觀的評價，我們認為兩種方法明顯優(yōu)于現(xiàn)有的方法。所提出描述符的構(gòu)造，使得全色圖像和草圖能進行完全相同的預(yù)處理步驟。首先，尋找具有相似結(jié)構(gòu)的圖像，分

2、析梯度方向。然后，在主要顏色分布的基礎(chǔ)上，最佳匹配的圖像都進行聚集，以抵消在初始搜索時，缺乏基于顏色的決定量?？偟膩碚f，查詢結(jié)果表明，該系統(tǒng)通過一個用戶友好的簡約瀏覽界面，提供了對大型圖像數(shù)據(jù)庫的一個直觀的訪問。1.引言引言數(shù)碼相機已經(jīng)產(chǎn)生了大量的數(shù)字圖像，許多都可以通過互聯(lián)網(wǎng)免費訪問（如Flickr）。在一個數(shù)據(jù)庫中，尋找一個接近心理模型的圖像是一個重要而困難的任務(wù)。目前，大多數(shù)查詢不是基于文本注釋和粗糙的彩色草圖，就是分別基于其他的

3、圖像和部分圖像[12]。我們認為圖像不能簡潔的被表現(xiàn)出來，并且僅僅基于文字進行查詢；人們可能會描述圖像的不同部分，并且根據(jù)他們的文化和專業(yè)背景使用不同的單詞。另一方面，基于顯示預(yù)期的結(jié)果非常相似查詢來搜索圖片，要么需要一個現(xiàn)有的圖像，它的缺少是通常用于查找原因，要么就是偉大的藝術(shù)技巧，如果圖像的陰影表演是必要的。它似乎使人更容易的描述出草圖形狀或場景的主要特征線。這可能會與人類如何思考和記憶對象相聯(lián)系[35]。請注意，一個圖像的主要特征

4、線幾乎完全決定它的陰影[6]。這一結(jié)果最近已經(jīng)用創(chuàng)建一個簡單直觀的編輯矢量圖像來表示了[7]。1.1以前的成果以前的成果比較草圖特征線和圖像的任務(wù)是自然很困難的。對這個問題的第一次探索可以追溯到回到1979[8]基于畫報描述的檢索。大多數(shù)圖像檢索的方法式基于輪廓草圖，到現(xiàn)在仍在使用如下算法：Hirata等人[9]搜索205個油畫的數(shù)據(jù)庫，通過把圖像數(shù)據(jù)庫的圖像邊緣和用戶的草圖相匹配。圖像大小劃分為8X8塊。對于每一塊，最好的相鄰相互關(guān)系

5、是通過搜索本地塊的一個小窗口來計算。全球的相似性是作為當(dāng)?shù)氐南嚓P(guān)值的總和來計算。Chan等人[10]搜索137個彩色圖像的數(shù)據(jù)庫，通過對比凸起的邊緣特征屬性，如長度，曲率和空間關(guān)系。邊緣被建模為隱式多項式，導(dǎo)致檢索算法允許輸入草圖的局部失真。Rajendran和Chang[11]將方向和曲率直方圖用到圖像編碼的最大邊緣。該方法利用多尺度考慮到用戶的草圖中各種層次的細節(jié)。由此產(chǎn)生的系統(tǒng)被用來檢索一個含有約5000幅繪畫和其他圖像的數(shù)據(jù)庫。

6、Lopresti等人[12]確認用戶的草圖可以被看作是一種特殊形式的筆跡，在125個草圖數(shù)據(jù)庫中巧妙地把搜索作為一個字符串匹配問題。Jain等人[13]將顏色和形狀的信息（使用顏色直方圖和邊緣直方圖的線性組合相似地測繪）在有400個圖像數(shù)據(jù)庫中檢索商標圖像。Hurtut等人[14]在線型繪制的小型數(shù)據(jù)庫中利用曲率驅(qū)動流分析圖像內(nèi)容。其他的成果是基于匹配一個單一的曲線到草圖：DelBimbo等人[15]和Sclaroff[16]讓用戶草圖

7、進行彎曲和拉伸變形來匹配輪廓。Matusiak等人[17]提出在曲率尺度空間的輪廓[18]并且對曲率尺度空間的曲線，定義了一個距離測量方法。Ip等人[19]對于單輪廓描述提出了一種仿射不變量。像目前對于大型圖像集的大多數(shù)檢索算法一樣，我們的系統(tǒng)是基于一個小的能捕捉到的圖像的基本特性描述符（高維特征向量）。然后圖像的相似性是通過對特征向量的距離度量的定義。典型的描述符使用全局或局部直方圖的強度，顏色，方向性[2023]或全部的圖像變換系數(shù)

8、[2425]。這些描述符未能為輸入特征線產(chǎn)生了良好的結(jié)果。一個為基于邊緣[26]的圖像被檢索。下載圖像的最大尺寸已經(jīng)被限制在1024x768像素內(nèi)，所有下載的圖像都按JPEG格式，被存儲在硬盤的一個簡單的文件夾內(nèi)。數(shù)據(jù)庫的內(nèi)存占用為375G，導(dǎo)致平均JPEG文件大小為250K。我們的圖像搜索引擎的輸入是一組二進制的提綱（見圖1，左），由用戶定義搜索內(nèi)容所需的形狀。一個查詢結(jié)果是一個形狀相似但生成的潛在大范圍色調(diào)的圖片的小集合。為了給用戶

9、提供一種快速找到正確的彩色圖像結(jié)果集的機制，我們另外聚集了一種顏色的直方圖搜索結(jié)果，將其匯聚成一個小的集群（通常在510的順序）。然后用戶可以快速找到包含匹配所需顏色的集群，并且從該集群中選擇最符合草圖形狀的圖像。集群在第4節(jié)中有更詳細的描述。我們的圖像排序算法是基于捕捉圖像的每一部分主要方向的描述符，是對數(shù)據(jù)庫中的所有圖像在脫機過程中進行計算。在查詢過程中，用戶草圖提供每個空間區(qū)域的方向信息。描述符是從素描中提取的，和使用數(shù)據(jù)庫中最近

10、鄰搜索算法得到的描述符相比較。與通過最近鄰發(fā)現(xiàn)的描述符對應(yīng)的圖像被反饋，并呈現(xiàn)給用戶。我們已將所提出的方法應(yīng)用到基于草圖的圖像檢索系統(tǒng)，這個系統(tǒng)可以讓任何新手用戶用來快速查詢圖像數(shù)據(jù)庫（見第6節(jié)）或者使用目前基于草圖的照片合成器系統(tǒng)[40、41]來創(chuàng)建新內(nèi)容。該系統(tǒng)的功能源于探索現(xiàn)有大量的圖像，這抵消圖像描述符和搜索中明顯的偏移。我們分析了所提出描述符的性能并在5和6節(jié)中評價其檢索性能。3.基于草圖的圖像描述符基于草圖的圖像描述符幾乎所

11、有的圖像描述符都是為匹配數(shù)據(jù)庫中給定的（部分）圖像[202542]而設(shè)計。這些描述符可用被用戶用來輸入，僅僅當(dāng)這些輸入與圖像的顏色，強度，或方向相類似時。病媒生物。一個向量值或轉(zhuǎn)換的描特征線不完全兼容這些描述符，我們相信基于該輸入搜索圖像數(shù)據(jù)庫可以被認為比基于效仿數(shù)據(jù)庫條目的輸入困難。在下面，我們首先快速地描述，對于草圖的圖像檢索現(xiàn)有的兩個描述符：Chalechale等人[26]提出的角徑向分區(qū)和在MPEG7標準[29]中定義的邊緣直方

12、圖。然后，我們描述兩個由Eitz等人[34]介紹的描述符，并在5節(jié)中顯示他們克服現(xiàn)有方法的不足。分區(qū)策略和特點：所有四個描述符通過使用規(guī)則的劃分策略和從每個所結(jié)果的局部區(qū)域提取圖像的特點，對圖像進行細分。在本文中，我們把細分過程中產(chǎn)生的圖像局部區(qū)域稱為“單元”。所有單元（使用固定空間的布局）的局部特征被用于形成一個表示圖像的特征向量。本文分析了四個描述符用不同方式細分圖像（在張量的情況下用規(guī)則的網(wǎng)格，HOG和EHD描述符，如在ARP描述

13、符情況下徑向角細分）和從每個單元中提取什么樣的信息（在HOG和EHD的情況下的梯度方向描述符，在張量描述符下的結(jié)構(gòu)張量和在ARP的描述符的情況下Canny的特征線[43]）。部分匹配：為了獲得包含一個適合用戶草圖的對象同時還包括在不同位置的其他對象的圖片，每個單元空格（即，與用戶草圖沒有交集）在基于描述符的距離計算中被忽略并且存儲在二進制標記中。這有三個直接的后果：第一，用戶可以專注于特定的圖像內(nèi)容，不需要在查詢數(shù)據(jù)庫前素描出整個圖片；

14、第二，通過避免對圖片背景的限制，增加了潛在可能的結(jié)果；第三，在查詢過程中，這大大地減少了距離計算的量。3.1角徑向分區(qū)角徑向分區(qū)Chalechale等人[26]對于基于草圖的圖像檢索明確地提出了一個描述符，這個描述符對抵抗位置和規(guī)模的小位移有魯棒性，并且被設(shè)計為旋轉(zhuǎn)不變的。從輸入圖像中對描述符的提取，要求按照以下步驟：（a）轉(zhuǎn)換圖像為它的灰度強度表示；（b）采用Canny邊緣濾波器提取局部邊緣特征；（c）劃分邊緣到MN角徑向分區(qū)（如圖2