高性能MapReduce系統(tǒng)的優(yōu)化.pdf

1、近年來，以多核集群為主流架構的高性能計算機成為高性能計算的主要硬件支撐平臺。同時共享變量和消息傳遞是最常用的兩類并行編程模型，但它們對并行的描述與表達層次較低。開發(fā)者在使用它們進行并行開發(fā)時，必須花費很多時間和精力來熟悉并顯式地使用它們所提供的各種同步、通信原語。
　　 MapReduce是一種新的并行編程模型，它具有高度抽象、編程接口簡單的特征。能使程序員在比較高的抽象層次上以一種更易理解和更易使用的方式來表述并行計算問題。H

2、PMR是中國科大國家高性能計算中心(合肥)為了推廣MapReduce模型而設計開發(fā)的面向高性能計算的MapReduce系統(tǒng)，支持大規(guī)模計算的任務分配和自動并行。
　　 目前，基于HPMR開發(fā)的并行程序的性能與直接使用MPI編寫的程序相比，還有差距。為了使HPMR更具有實用性，論文從多個方面對其展開優(yōu)化。主要工作如下：
　　 (1)把處理器底層體系結構中分支預測與推測執(zhí)行思想引入到HPMR的通信優(yōu)化中，設計了優(yōu)化的通信模型