基于立體視覺的局部場景語義標(biāo)注.pdf

1、基于立體視覺的場景語義標(biāo)注是環(huán)境感知領(lǐng)域中的熱門研究方向。經(jīng)過多年的發(fā)展,環(huán)境感知的部分成果已經(jīng)逐漸走上了產(chǎn)品化的道路。但針對室內(nèi)場景的語義標(biāo)注仍然存在若干問題,場景單一,多數(shù)采用合成數(shù)據(jù)集等等。
　　本文的方法基于逐步壯大的 RGBD數(shù)據(jù)集,對包括辦公室場景及家居場景的樣本進(jìn)行語義標(biāo)注。采用了多種點(diǎn)云預(yù)處理方法,并結(jié)合二維圖像的標(biāo)注方式和點(diǎn)云分割的方法,提取點(diǎn)云樣本,作為分類器的輸入。在學(xué)習(xí)過程中,將局部的場景關(guān)聯(lián)信息提取出來,

2、通過具有語義關(guān)聯(lián)能力的條件隨機(jī)場模型進(jìn)行訓(xùn)練,得到局部場景的語義標(biāo)注模型。豐富的場景來源和結(jié)構(gòu)信息與場景的緊密結(jié)合,是本課題中場景標(biāo)注的顯著特征。
　　本文的主要工作包括以下幾方面:
　　1.構(gòu)建包含豐富場景的點(diǎn)云樣本數(shù)據(jù)集。針對點(diǎn)云進(jìn)行包括:點(diǎn)云網(wǎng)格化、濾波,并基于感興趣區(qū)域的標(biāo)注結(jié)合點(diǎn)云分割來構(gòu)建數(shù)據(jù)集,使得 RGBD數(shù)據(jù)集能夠統(tǒng)一劃歸為進(jìn)行局部場景標(biāo)注的樣本。
　　2.樣本取自于豐富的場景,因而對分割的魯棒性提出

3、了很高的要求。目前點(diǎn)云分割領(lǐng)域的方法,包括參數(shù)模型擬合分割、聚類分割。本文在此基礎(chǔ)上,結(jié)合二維圖像的分割技術(shù)與基于聚類的點(diǎn)云分割方法,運(yùn)用的局部場景理解中,滿足魯棒性分割的需要。
　　3.點(diǎn)云樣本的特征提取與選擇。由于樣本來源豐富,同一類物體在外觀、形態(tài)等方面差異較大,本文探索了不同類型的特征(可視化外觀以及幾何形狀特征)的差異,并通過對實(shí)驗(yàn)結(jié)果的分析,得出更適合于局部場景語義標(biāo)注問題的樣本特征。
　　4.局部場景語義標(biāo)注模