面向三維手勢(shì)交互界面的用戶視覺(jué)關(guān)注分布特征研究.pdf

1、在人類的日常交際中，人們往往會(huì)通過(guò)不同的手勢(shì)表達(dá)自己的思想，手勢(shì)在人們的生活中起著非常重要的作用。正因如此，手勢(shì)交互也成為人機(jī)交互領(lǐng)域的熱點(diǎn)問(wèn)題，人們一直致力于研究出更加自然、和諧且具有認(rèn)知行為的交互算法。當(dāng)前的手勢(shì)交互算法都是采用逐幀跟蹤，計(jì)算量非常大，導(dǎo)致交互效率低下。為此，我們不得不反思這樣一個(gè)問(wèn)題：在基于手勢(shì)的非精確直接交互條件下，是否有必要對(duì)每幀手勢(shì)都進(jìn)行跟蹤并獲取其精確的三維手勢(shì)模型？
　　本課題獲得國(guó)家自然科學(xué)基金(

2、No.61173079，No.61472163)和山東省自然科學(xué)基金重點(diǎn)項(xiàng)目(No. ZR2011FZ003)資助。手勢(shì)交互算法發(fā)展已久且取得了很多成就，但關(guān)于跟蹤精度和交互效率低下的瓶頸一直難以突破。本文通過(guò)研究用戶在交互過(guò)程中的視覺(jué)關(guān)注分布規(guī)律來(lái)嘗試解決目前方法中存在的跟蹤速度瓶頸問(wèn)題。視覺(jué)關(guān)注機(jī)制是一個(gè)極其復(fù)雜的過(guò)程，因其超乎尋常的復(fù)雜性和不確定性，涵蓋了認(rèn)知科學(xué)、神經(jīng)生物學(xué)、心理學(xué)等多個(gè)學(xué)科。人類的視覺(jué)系統(tǒng)在處理視覺(jué)信息的過(guò)程中

3、，總是快速篩選出用戶感興趣的對(duì)象，而忽略或舍棄其他的非感興趣的對(duì)象，這使我們可以快速合理的分配資源，從而極大地提高了視覺(jué)系統(tǒng)處理信息的速度。本文主要任務(wù)包括如下兩方面，一方面是研究出人類的視覺(jué)關(guān)注分布規(guī)律，同時(shí)視覺(jué)關(guān)注機(jī)制具有篩選數(shù)據(jù)信息的能力，這為提高手勢(shì)交互的效率提供了依據(jù)，因而具有重要理論意義。另一方面，目前在普通PC機(jī)條件下要達(dá)到手勢(shì)的三維實(shí)時(shí)跟蹤還極有難度，本文研究從新的角度探索手勢(shì)的實(shí)時(shí)跟蹤，在新型3D人機(jī)交互界面設(shè)計(jì)中具有

4、重要的應(yīng)用意義。
　　本課題主要研究工作和創(chuàng)新點(diǎn)如下：
　　(1)使用Tobii眼動(dòng)儀對(duì)人眼的視線進(jìn)行實(shí)時(shí)跟蹤
　　為了研究視覺(jué)關(guān)注分布的規(guī)律，本課題使用了Tobii眼動(dòng)儀對(duì)用戶的視線進(jìn)行實(shí)時(shí)跟蹤。Tobii眼動(dòng)儀能夠在用戶最自然的狀態(tài)下記錄眼動(dòng)的最精確數(shù)據(jù)，這對(duì)研究視覺(jué)關(guān)注分布規(guī)律是十分重要的。通過(guò)使用Tobii眼動(dòng)儀進(jìn)行手勢(shì)交互實(shí)驗(yàn)，我們能夠看到用戶在每個(gè)區(qū)域的關(guān)注時(shí)間，從而可以獲知用戶的感興趣區(qū)域與不感興趣區(qū)域。

5、
　　(2)建立了視覺(jué)關(guān)注模型
　　通過(guò)對(duì)人眼數(shù)據(jù)的深入分析，最終為手勢(shì)交互過(guò)程的平移、抓取、釋放階段分別建立視覺(jué)關(guān)注模型。這些模型是從三維手勢(shì)模型到目標(biāo)位置之間的距離及視覺(jué)關(guān)注強(qiáng)度角度進(jìn)行深入研究。經(jīng)實(shí)驗(yàn)證明，視覺(jué)關(guān)注的分布規(guī)律完全符合人們認(rèn)知行為。
　　(3)提出了基于視覺(jué)關(guān)注分布的三維手勢(shì)跟蹤算法
　　該算法的創(chuàng)新點(diǎn)是：將粒子濾波算法與視覺(jué)關(guān)注機(jī)制進(jìn)行了結(jié)合，并且使算法中的粒子具有自適應(yīng)性。該算法不僅解決了

6、當(dāng)前手勢(shì)交互算法存在的瓶頸問(wèn)題，而且還符合人們自然的交互習(xí)慣。簡(jiǎn)單來(lái)說(shuō)，隨著視覺(jué)關(guān)注強(qiáng)度的變化分布的粒子也不同，在視覺(jué)關(guān)注強(qiáng)度較低時(shí)，則用動(dòng)畫(huà)來(lái)實(shí)現(xiàn)。經(jīng)實(shí)驗(yàn)驗(yàn)證，該算法較好的提高了手勢(shì)跟蹤精度和交互效率，而且交互方式符合人們的自然交互行為，從而體現(xiàn)了新的人機(jī)交互以“人”為中心的目標(biāo)。
　　人類的視覺(jué)關(guān)注機(jī)制具有快速篩選數(shù)據(jù)信息的能力，本文將視覺(jué)關(guān)注機(jī)制應(yīng)用到手勢(shì)交互中提高了手勢(shì)交互的效率，為人機(jī)交互研究開(kāi)辟了新的思路，具有一定的理