基于人機(jī)交互技術(shù)的音樂(lè)機(jī)的設(shè)計(jì).pdf

1、數(shù)字圖像處理、多媒體技術(shù)、計(jì)算機(jī)圖形學(xué)等學(xué)科的迅速發(fā)展，給交互式技術(shù)的發(fā)展帶來(lái)了無(wú)限可能，尤其是當(dāng)交互式技術(shù)與多媒體技術(shù)相結(jié)合時(shí)，它就成為一門集技術(shù)和藝術(shù)為一體的學(xué)科。本文設(shè)計(jì)的音樂(lè)機(jī)是一種可人機(jī)交互操作的電子音效設(shè)備，它突破了傳統(tǒng)的鍵盤、鼠標(biāo)、按鍵交互手段，采用機(jī)器視覺(jué)技術(shù)進(jìn)行多媒體人機(jī)交互。本文研究的主要包括以下幾個(gè)方面:
　　(1)系統(tǒng)平臺(tái)的構(gòu)建包括硬件平臺(tái)和軟件平臺(tái)兩方面的內(nèi)容。硬件平臺(tái)為一個(gè)帶有半透明操作平臺(tái)的箱式結(jié)構(gòu)，

2、各個(gè)模塊按照其功能在結(jié)構(gòu)內(nèi)有序擺放。軟件平臺(tái)則在VS2005環(huán)境下通過(guò)C++編程實(shí)現(xiàn)各個(gè)功能模塊。
　　(2)圖像采集和預(yù)處理模塊。利用USB攝像頭進(jìn)行圖像采集，在windows驅(qū)動(dòng)模型下WDM下遵循UVC協(xié)議實(shí)現(xiàn)視頻數(shù)據(jù)流的傳輸。圖像預(yù)處理部分主要包含自適應(yīng)閾值分割，分割過(guò)程中充分考慮鄰接區(qū)域的像素信息，比全局閾值分割擁有更強(qiáng)的抗噪能力。
　　(3)在圖像識(shí)別追蹤模塊，利用圖像拓?fù)涮卣鞯牧己玫娜痔匦?，設(shè)計(jì)了一類載有樂(lè)器基

3、本形狀的拓?fù)浣Y(jié)構(gòu)模塊，并相應(yīng)提出了一種基于圖像拓?fù)涮卣鞯倪\(yùn)動(dòng)目標(biāo)追蹤的算法。這種算法具有良好平移旋轉(zhuǎn)、尺度縮放不變性，并且在滿足實(shí)時(shí)性的前提下保持良好的魯棒性。
　　(4)視聽效果生成部分包括視覺(jué)效果和聽覺(jué)效果兩個(gè)模塊。聽覺(jué)效果模塊，根據(jù)識(shí)別追蹤的結(jié)果，電子音效產(chǎn)生模塊根據(jù)MIDI協(xié)議，實(shí)時(shí)發(fā)送MIDI命令消息控制聲卡發(fā)聲，產(chǎn)生動(dòng)態(tài)的電子音樂(lè)效果;視覺(jué)效果模塊，基于OpenGL圖形應(yīng)用接口產(chǎn)生簡(jiǎn)單的二維圖形，并通過(guò)實(shí)時(shí)繪制過(guò)程產(chǎn)生