基于嵌入式多處理器的輕量級MapReduce模型研究.pdf

1、隨著近年來云計算的快速發(fā)展以及多核處理器核心數的快速增長,并行開發(fā)技術的應用也越來越普遍。各種并行開發(fā)技術如MPI、OpenMP等已經非常成熟的應用于各個領域,并且在Google的MapReduce編程模型的帶動下出現了很多基于MapReduce模型的開發(fā)框架,如Phoenix、Metis、Hadoop等,但是Phoenix和Metis是基于共享內存架構實現的,不能用于分布式集群,而Hadoop集群部署在嵌入式環(huán)境下的執(zhí)行效率不高。因此

2、目前還沒有成熟的基于嵌入式平臺的分布式計算框架,雖然MPI+OpenMP方法是一個比較常用的方法,但是節(jié)點內使用OpenMP來對并行進行控制增加了編程難度,并造成開發(fā)和維護上的開銷。
　　為了研究Hadoop在嵌入式處理器平臺上的應用缺陷,本文首先構建了基于嵌入式多處理器的云計算平臺,在其上實現了并行圖像處理方法,進行了效率分析,進而發(fā)現了目前 Hadoop應用于嵌入式環(huán)境中的不足。然后對多核平臺下的MapReduce開發(fā)框架Ph

3、oenix和Metis進行了研究,并基于Tilera36眾核平臺對其進行性能評測,以此來發(fā)現這兩個框架的優(yōu)點和不足。
　　最后在上面所述的研究的基礎上,重新設計了一個輕量級的面向嵌入式環(huán)境的分布式計算框架MPI+Phoenix,該框架在設計中主要考慮了嵌入式處理器節(jié)點之間的異構性,以及如何充分利用節(jié)點內部的處理器核心來最大化系統(tǒng)運行效率。最后針對該框架進行了圖像并行處理的應用和測試,并對其進行Phoenix標準集測試,從而對該框架