基于Hadoop視頻處理與檢索系統(tǒng).pdf

1、隨著數(shù)碼攝像設(shè)備的普及和社交網(wǎng)絡(luò)的盛行，互聯(lián)網(wǎng)絡(luò)上每時(shí)每刻都有海量的視頻數(shù)據(jù)從各個(gè)終端上傳，網(wǎng)絡(luò)中豐富的視頻信息無(wú)疑給人們的生活帶來(lái)了很多愉悅，但是同時(shí)隨之而來(lái)的是視頻大數(shù)據(jù)的管理的難題。試想在無(wú)任何組織和管理的視頻庫(kù)中去查找我們感興趣的一個(gè)視頻文件，那幾乎與大海撈針無(wú)異，所以對(duì)于大視頻數(shù)據(jù)的有效管理也是使人們能夠有效利用視頻信息，享受數(shù)字化時(shí)代信息豐富與便捷的必然要求。然而，與單純的文字、圖片或聲音等表達(dá)方式相比，視頻數(shù)據(jù)雖然具有制作

2、簡(jiǎn)單、表意豐富、生動(dòng)形象、容易引起關(guān)注等優(yōu)點(diǎn)，但也具有非結(jié)構(gòu)化的特點(diǎn)，即數(shù)據(jù)中包含的信息卻無(wú)法利用機(jī)器直接分析其語(yǔ)義，視頻數(shù)據(jù)處理技術(shù)消耗大量計(jì)算資源等等方面，使得對(duì)視頻大數(shù)據(jù)的有效組織和管理成為一大難題。
　　視頻檢索是視頻數(shù)據(jù)管理的主要內(nèi)容，視頻數(shù)據(jù)是一種非結(jié)構(gòu)化、時(shí)空并存、數(shù)據(jù)量大的數(shù)據(jù)，對(duì)視頻文件進(jìn)行檢索面臨的最大挑戰(zhàn)在于如何從二進(jìn)制的視頻數(shù)據(jù)中提取出表達(dá)視頻內(nèi)容的文本信息。一種傳統(tǒng)方法是基于文本的視頻檢索，即利用視頻附加

3、的標(biāo)簽進(jìn)行索引和檢索。但原始格式的視頻本身通常不具有任何語(yǔ)義標(biāo)簽，而有語(yǔ)義標(biāo)簽的視頻又存在著標(biāo)簽錯(cuò)誤或者標(biāo)簽不完整等問(wèn)題，加之利用人工進(jìn)行標(biāo)注來(lái)獲取標(biāo)簽的代價(jià)高等現(xiàn)實(shí)情況，基于文本的視頻檢索已經(jīng)不能滿足人們的要求。另一種有效的方法是基于內(nèi)容的視頻檢索技術(shù)，這種技術(shù)實(shí)質(zhì)上是一種機(jī)器標(biāo)注的方法。基于內(nèi)容的檢索技術(shù)是指基于信息的內(nèi)容或特征對(duì)多媒體信息進(jìn)行有效的檢索。所謂信息的內(nèi)容或特征主要是指視頻數(shù)據(jù)中的幀、鏡頭和場(chǎng)景等，圖像數(shù)據(jù)中的顏色、紋

4、理、輪廓和對(duì)象等，音頻數(shù)據(jù)中的音調(diào)、音色和旋律等。要進(jìn)行基于內(nèi)容的視頻檢索，首先要建立一個(gè)合理的視頻數(shù)據(jù)模型，并在此模型的基礎(chǔ)上對(duì)視頻數(shù)據(jù)進(jìn)行分割和特征提取，然后對(duì)視頻數(shù)據(jù)進(jìn)行檢索。基于內(nèi)容的視頻檢索技術(shù)具有廣泛的應(yīng)用領(lǐng)域，如遠(yuǎn)程監(jiān)控、多媒體會(huì)議、虛擬現(xiàn)實(shí)、電視新聞、衛(wèi)星云圖、信息娛樂(lè)、交互購(gòu)物、電影和電視的后期制作等，因此它將對(duì)多媒體業(yè)產(chǎn)生很大的沖擊。
　　本文主要是采用基于內(nèi)容的視頻檢索方法，首先通過(guò)視頻處理工具，分析并得到視

5、頻中所表達(dá)內(nèi)容的文本信息，然后利用這些文本信息構(gòu)建視頻索引，最后開(kāi)發(fā)了一個(gè)Web接口為用戶提供檢索平臺(tái)。該系統(tǒng)對(duì)原始視頻數(shù)據(jù)進(jìn)行圖像和音頻的分離，然后對(duì)圖像數(shù)據(jù)進(jìn)行自動(dòng)圖片標(biāo)注，對(duì)語(yǔ)音數(shù)據(jù)進(jìn)行自動(dòng)語(yǔ)音識(shí)別。最終結(jié)合兩種處理所生成的含有視頻內(nèi)容的文本來(lái)構(gòu)建索引，從而實(shí)現(xiàn)對(duì)視頻數(shù)據(jù)的檢索。Web檢索部分，我們使用的是Ajax、JSP和Servlet相結(jié)合的方式，在前端界面中輸入查詢語(yǔ)句，后端從查詢語(yǔ)句中抽取出關(guān)鍵字，然后在視頻索引中進(jìn)行檢索

6、，最后將檢索到的視頻文件返回到前端用戶界面。
　　本系統(tǒng)的一個(gè)創(chuàng)新點(diǎn)在于利用比較成熟有效的Hadoop分布式計(jì)算框架，將視頻處理的任務(wù)分發(fā)到不同的計(jì)算節(jié)點(diǎn)，從而充分利用已有計(jì)算資源，節(jié)省處理時(shí)間提高了處理效率。通過(guò)用戶友好的系統(tǒng)界面，視頻的檢索結(jié)果可以直觀地展示出來(lái)，同時(shí)我們也實(shí)現(xiàn)了處理過(guò)程的“一鍵化”實(shí)施，擁有權(quán)限的用戶登錄后可以點(diǎn)擊幾個(gè)按鈕就可以對(duì)視頻進(jìn)行復(fù)雜的處理。同時(shí)支持視頻數(shù)據(jù)集的更新，對(duì)新添加的視頻也可以做到快速地處理