跨媒體檢索技術(shù)的研究.pdf

1、在當(dāng)前信息化和網(wǎng)絡(luò)化迅速發(fā)展的社會，對跨媒體內(nèi)容檢索已經(jīng)成為信息檢索領(lǐng)悟中比較重要的研究熱點(diǎn)。與傳統(tǒng)信息檢索不同的是，跨媒體信息檢索的對象不是單一類型的多媒體對象，往往包括圖像、聲音以及視頻等格式的數(shù)據(jù)。在研究跨媒體信息檢索領(lǐng)域中，對于不同類型的多媒體信息檢索處于尚不成熟的階段。人們在對信息進(jìn)行識別的過程中，往往需要對不同類型的信息進(jìn)行感性認(rèn)識，包括視覺、聽覺等信息進(jìn)行綜合分析，形成整體認(rèn)知。要實(shí)現(xiàn)這一點(diǎn)，需要對多媒體信息檢索和管理的時

2、候利用跨媒體信息檢索方式進(jìn)行比對。
　　 對于跨媒體檢索技術(shù)的發(fā)展，離不開傳統(tǒng)基于內(nèi)容的多媒體檢索技術(shù)。自從二十世紀(jì)九十年代以來，各種基于內(nèi)容的多媒體檢索技術(shù)將計算機(jī)視覺、模式識別、數(shù)據(jù)庫技術(shù)以及機(jī)器學(xué)習(xí)等技術(shù)綜合起來，形成多角度分析的機(jī)制，彌補(bǔ)了傳統(tǒng)單一類型多媒體信息檢索的弊端，大大提高了在大數(shù)據(jù)量情況下的信息檢索的效率?？缑襟w信息檢索最初基于內(nèi)容的檢索技術(shù)，應(yīng)用于對圖像的各種信息進(jìn)行提取，例如顏色，紋理，形狀等特征向量作為圖

3、像索引的切入點(diǎn)?；谶@種技術(shù)，可以轉(zhuǎn)移到基于內(nèi)容的視頻和音頻數(shù)據(jù)檢索中，依然可以達(dá)到較為理想的效果。但是這些方法大多基于單一類型的多媒體數(shù)據(jù)作為檢索對象，對于不同類型之間的數(shù)據(jù)往往不能實(shí)現(xiàn)交叉檢索，例如利用音頻數(shù)據(jù)與圖像數(shù)據(jù)對比，可以實(shí)現(xiàn)人臉與語音雙重識別問題。
　　 論文中對媒體底層特征的提取進(jìn)行了詳細(xì)研究，并利用PCA降維來縮小計算量。針對音頻例子，采用MPEG實(shí)現(xiàn)音頻數(shù)據(jù)的壓縮，利用基于模糊C-均值聚類算法對聚類質(zhì)心進(jìn)行提

4、取分析，借助Mel倒譜系數(shù)比較和計算，得到相似度結(jié)果;針對圖像，利用小波變換提取圖像邊緣，分析圖像中的顏色特征、紋理特征等，通過計算其7個不變矩組成表達(dá)這幅圖像的特征向量，計算其距離函數(shù)得到相似度結(jié)果。
　　 本文的研究基于對單一類型多媒體數(shù)據(jù)的檢索技術(shù)，實(shí)現(xiàn)跨媒體數(shù)據(jù)的綜合檢索。針對圖像、音頻等多媒體數(shù)據(jù)進(jìn)行交叉比對，把數(shù)據(jù)底層最小粒度的特征進(jìn)行向量化，借助相關(guān)矩陣的收斂運(yùn)算，研究了圖像與音頻數(shù)據(jù)的跨媒體相關(guān)性分析，并通過對多