Spark框架下的人臉圖像檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、大數(shù)據(jù)時(shí)代數(shù)據(jù)呈爆炸式增長，海量數(shù)據(jù)的處理顯得愈發(fā)重要，因此多種大數(shù)據(jù)處理框架應(yīng)運(yùn)而生，如Hadoop，Strom，Spark等。在圖像處理領(lǐng)域，人臉識(shí)別技術(shù)經(jīng)過幾十年的研究日漸成熟，正在逐步走向市場(chǎng)。基于大數(shù)據(jù)的圖像檢索作為一個(gè)新的熱門課題，已經(jīng)是高校、科研機(jī)構(gòu)和公司的研究重點(diǎn)。
　　海量圖像數(shù)據(jù)檢索面臨兩個(gè)技術(shù)難點(diǎn):一是怎樣利用算法降低整體計(jì)算量;二是如何基于分布式架構(gòu)合理利用硬件資源提高計(jì)算效率。針對(duì)第一個(gè)難點(diǎn)，本文首先利用

2、PCA算法將128維的SIFT特征降至32維，其次將Canopy算法與K-Means算法相結(jié)合對(duì)降維后特征矩陣中的行向量進(jìn)行聚類，并統(tǒng)計(jì)聚類后各特征矩陣的詞頻向量，再將所有圖像的詞頻向量輸入到Spark MLlib的LDA模型中，接著將圖像特征矩陣聚為K類。最終，用戶圖像的特征矩陣只需與同類別圖像的特征矩陣進(jìn)行相似度計(jì)算。針對(duì)第二難點(diǎn)，本文利用集群分布式計(jì)算的特性來提高計(jì)算效率。本系統(tǒng)基于分布式架構(gòu)的HBase數(shù)據(jù)庫和Spark框架，實(shí)

3、現(xiàn)了分布式的并行運(yùn)算。同時(shí)，系統(tǒng)的核心算法Canopy、K-Means、LDA、歐式距離等都是基于Spark框架實(shí)現(xiàn)的并行化算法，能高效的運(yùn)行在Spark框架上。
　　本文針對(duì)大數(shù)據(jù)環(huán)境下人臉圖像的檢索問題，設(shè)計(jì)并實(shí)現(xiàn)了基于Spark框架的人臉圖像檢索系統(tǒng)。本文完成的主要工作如下:
　　1.改進(jìn)了Canopy和K-Means算法，并基于Spark框架實(shí)現(xiàn)了改進(jìn)的算法。將改進(jìn)的兩種算法分別與Hadoop機(jī)器學(xué)習(xí)庫Mahout或

4、Spark機(jī)器學(xué)習(xí)庫MLlib的同類算法進(jìn)行對(duì)比。實(shí)驗(yàn)顯示改進(jìn)的算法在Spark框架上取得更高的計(jì)算效率。
　　2.檢索系統(tǒng)的特征匹配子系統(tǒng)分別用Spark和Hadoop機(jī)器學(xué)習(xí)庫中的算法進(jìn)行了實(shí)現(xiàn)，并對(duì)兩種實(shí)現(xiàn)方案的檢索性能進(jìn)行了實(shí)驗(yàn)對(duì)比。實(shí)驗(yàn)顯示在人臉圖像快速檢索方面Spark框架比Hadoop框架具有更優(yōu)秀的計(jì)算性能。
　　3.設(shè)計(jì)并實(shí)現(xiàn)了基于Spark框架的人臉圖像檢索系統(tǒng)。該系統(tǒng)由三個(gè)子系統(tǒng)組成:數(shù)據(jù)庫子系統(tǒng)、用戶