基于單目攝像機的增強現(xiàn)實場景感知技術研究.pdf

1、增強現(xiàn)實通過分析場景特征，可以將計算機生成的幾何信息以視覺融合的方式疊加至真實環(huán)境中，加強人對世界的認知。作為一種全新的人機交互方式，增強現(xiàn)實技術的發(fā)展備受關注。虛實融合是增強現(xiàn)實的核心問題，其關鍵在于:如何利用2D視覺信息恢復真實的3D場景，如何估算視覺傳感器在空間的位置和姿態(tài)，如何對場景中出現(xiàn)的物體進行感知和處理。盡管計算機視覺已經(jīng)取得長足進步，但在實際應用中仍然面臨著移動攝像機的姿態(tài)在三維場景中求解困難、應用場景中一直存在的噪聲干

2、擾及遮擋、復雜背景中的物體識別和姿態(tài)求解困難等不利因素。因此設計穩(wěn)定可靠、高效的場景構建和場景識別算法在當前仍然是一項很有挑戰(zhàn)性的工作。
　　基于上述研究背景，本文將以構建增強現(xiàn)實裝配系統(tǒng)為目標，研究如何從單目攝像機拍攝的視頻序列中恢復出場景三維幾何和攝像機運動信息，獲取場景中物體的姿態(tài)并應用于裝配指導系統(tǒng)中。本文希望能有效解決在移動增強現(xiàn)實環(huán)境中，虛實融合面臨的配準準確性、實時性和魯棒性等問題，促進場景感知在增強現(xiàn)實中的發(fā)展。本

3、文主要工作總結如下:
　　針對三維重構效率低，后期識別和感知困難的問題，提出了一個基于視頻序列的場景重構算法，從圖像序列中恢復場景的3D稀疏表面結構。算法采用局部集束優(yōu)化方法，不僅可以提高運算效率，還保證了重構結果的精確度和魯棒性。針對視覺重建噪聲多的特點，本文用統(tǒng)計離群值濾波法對場景的重構點云進行濾波，可以在不需要增加很多計算代價的條件下有效地過濾大量噪聲，在減少空間點數(shù)量的同時還能夠保持和增強點云的表面特征。
　　為了獲

4、取虛實融合的正確呈現(xiàn)效果，需要計算移動攝像機在空間的位姿，為此提出了一個高效的基于稀疏光流的攝像機跟蹤算法。特別針對移動攝像機的姿態(tài)在立體場景中求解不穩(wěn)定、效率低等問題，提出了一種基于關鍵幀簇的跟蹤方法，由稀疏光流對相鄰關鍵幀的對應特征點的位置進行預測和跟蹤，建立關鍵幀之間對應特征點的匹配約束關系，利用與這些特征點對應的3D點位置，對攝像機位姿進行定位及更新，從而提高攝像機姿態(tài)的求解效率和精度，有效避免配準漂移問題。
　　為了識別

5、與理解裝配環(huán)境中出現(xiàn)的真實物體對象，提出了一種基于配準的3D感知方法。通過驅(qū)動虛擬模型點云，使之與真實場景的點云匹配，利用點云的相似度對場景中出現(xiàn)的真實物體進行感知。為了降低場景點云中噪聲對配準結果的影響，提出一個基于密度自適應的匹配算法，自適應調(diào)整不同來源的點云密度，再提取共面四點描述特征對場景點云和模型點云進行相似度匹配，利用共面四點特征的仿射不變性實現(xiàn)對真實物體的識別。該方法可以減少點云的數(shù)據(jù)量，降低運算復雜度，還能提高匹配精確度

6、。實驗結果表明，這種方法能準確在裝配環(huán)境點云中識別出零部件并能計算出它們的姿態(tài)，可用于噪聲條件下增強現(xiàn)實交互應用。
　　構建了一個基于單目攝像機的增強現(xiàn)實裝配實驗平臺。該平臺以交互操作任務為目標，可以在裝配過程中向操作者提供所需的文字、二維圖像以及三維模型，幫助用戶理解裝配任務，獲得裝配經(jīng)驗;還可以根據(jù)裝配內(nèi)容生成裝配序列和工藝規(guī)劃文件。平臺綜合運用了場景重構、攝像機跟蹤以及三維感知方法。實驗驗證了本文算法的實時性、魯棒性以及精確