自然場景中柑橘目標檢測與遮擋恢復(fù).pdf

1、機器人采摘是農(nóng)業(yè)機械化和自動化的趨勢，利用機器視覺進行采摘目標的檢測定位是普遍采用的手段。由于水果的生長環(huán)境以及個體的形狀和顏色不同，極富變化的自然光照和由此帶來的高光、陰影以及遮擋等問題都會對自然場景中樹上水果目標的檢測提出挑戰(zhàn)，影響檢測定位的準確率和采摘的成功率。
　　本文以樹上柑橘作為研究對象，主要圍繞利用機器視覺進行自然場景中目標檢測的兩個關(guān)鍵問題展開：一是討論在自然環(huán)境中光照不斷變化的條件下如何穩(wěn)定的檢測出完整的水果目標

2、的問題；二是自適應(yīng)處理自然場景中普遍存在的遮擋現(xiàn)象的問題。本文結(jié)合Marr的視覺理論展開，通過提取果園場景中樹上水果目標的初始簡圖，并結(jié)合水果目標的形狀知識來恢復(fù)目標的完整輪廓，最后通過擬合目標可見表面的三維數(shù)據(jù)點云恢復(fù)目標的完整表面。
　　本文的貢獻主要體現(xiàn)在四個方面：(1)將Marr的視覺計算理論應(yīng)用到機器采摘的農(nóng)業(yè)生產(chǎn)場景，提出了樹上水果目標檢測和恢復(fù)的系統(tǒng)化方法；(2)結(jié)合光照模型，通過圖像融合的方式，完整的提取出自然場景

3、中柑橘目標的可見表面，提高了樹上水果目標分割算法對自然光照變化的魯棒性；(3)提出了基于色差圖的邊緣分析來提取自然場景中樹上水果目標有效外輪廓片段集的方法，在形狀知識的指導(dǎo)下恢復(fù)出樹上水果目標輪廓，并推理出了重疊水果目標之間的偏序關(guān)系，變化光照實驗和抗遮擋實驗表明本文算法對光照和遮擋均有較好的魯棒性；(4)將陰影恢復(fù)形狀算法應(yīng)用到機器人采摘的視覺檢測過程中，根據(jù)目標局部表面的光照分布恢復(fù)出了目標的完整表面，推導(dǎo)出了自然場景中柑橘目標的2

4、.5維表達和3維表達。
　　本文首先根據(jù)光學(xué)系統(tǒng)成像的光照模型，討論了在變化的光照下樹上水果目標的亮度成分和變化問題，提出了利用多態(tài)圖像分割和圖像融合的方法完整的檢測出圖像中的目標區(qū)域。提出了利用色差信息檢測樹上水果目標可視部分的漫反射區(qū)域，利用亮度圖分割的方法檢測目標可視部分的高光區(qū)域，利用歸一化RGB顏色空間分割的方法提取目標表面的陰影區(qū)域。通過融合這三種模態(tài)圖像的分割結(jié)果完整的檢出目標的可見表面，并采用形態(tài)學(xué)重構(gòu)的方法去除虛

5、警。通過大量實驗結(jié)果表明，所提算法在各種光照條件下性能都很穩(wěn)定，能準確魯棒的檢測出果園場景中的樹上水果目標可見表面。
　　在利用圖像融合方法對目標前景進行分割的基礎(chǔ)上，利用了Canny邊緣檢測算子對色差圖進行處理從而提取出目標區(qū)域的主邊緣。通過端點和角點檢測算法提取出顯著頂點集。利用頂點集將主邊緣進行分割，構(gòu)造出光滑邊緣片段集。結(jié)合初分割結(jié)果，通過分析每個邊緣片段的長度、平直性和凹凸性來遴選出有效邊緣片段(目標外輪廓片段)集。最終

6、采用直接擬合方法和局部優(yōu)化方法恢復(fù)出被遮擋的成熟樹上水果目標的完整輪廓。在恢復(fù)目標輪廓的基礎(chǔ)上，討論了存在重疊的水果之間的偏序關(guān)系推導(dǎo)。變化光照實驗和抗遮擋實驗表明本文算法對光照和遮擋均有較好的魯棒性。重疊水果之間的偏序關(guān)系為采摘機械手的路徑規(guī)劃提供了直接依據(jù)。
　　對于分割結(jié)果的前景區(qū)域，提取其對應(yīng)的灰度圖，利用維納濾波的方法改善圖像質(zhì)量。通過天文學(xué)知識計算太陽方位，利用Lee和Rosenfeld的局部分析方法以及Tsai和Sh

7、ah提出的線性化方法求解SFS問題，獲取目標區(qū)域的深度數(shù)據(jù)，恢復(fù)出目標區(qū)域的三維形貌。利用球體擬合的方式從恢復(fù)的點云數(shù)據(jù)中擬合出樹上球形水果目標表面，并通過有效性檢查去除無效目標。實驗結(jié)果表明該模型能在復(fù)雜的自然光照條件完整的恢復(fù)出被遮擋的樹上水果目標表面。恢復(fù)出的空間目標可以較清楚的反映各個水果在空間的相對位置關(guān)系，這為進一步指導(dǎo)機械手進行路徑規(guī)劃、實現(xiàn)對目標果的采摘提供了直接線索和依據(jù)。
　　最后，歸納總結(jié)了現(xiàn)在的工作，并針對