MapReduce并行編程模式的應(yīng)用與研究.pdf

1、當(dāng)前，科學(xué)與工程計(jì)算中大規(guī)模數(shù)據(jù)處理的需求與日俱增。與此同時(shí)，高性能并行機(jī)的發(fā)展和硬件價(jià)格的下降使得高性能機(jī)器得到了廣泛推廣，與之相伴的是各種并行編程模式和并行編程語言的紛紛出現(xiàn)，并行計(jì)算的發(fā)展為各學(xué)科帶來福音的同時(shí)也帶來了一系列的問題。并行機(jī)體系結(jié)構(gòu)以及并行編程語言和模式的多樣性為并行應(yīng)用的開發(fā)帶來了極大的困難，增加了普通程序員的編程難度。因此，簡化并行編程，提高并行程序開發(fā)效率就成為了一個(gè)關(guān)鍵的問題。 很多并行編程模型和語言

2、抽象層次太低，導(dǎo)致程序員要關(guān)心很多底層實(shí)現(xiàn)細(xì)節(jié)。而MapReduce模式具有高層次的抽象，在MapReduce運(yùn)行時(shí)系統(tǒng)的支持下程序員只需要關(guān)注對具體數(shù)據(jù)的處理，以及數(shù)據(jù)相關(guān)性的處理，極大的降低了并行程序的開發(fā)難度。但是除了網(wǎng)絡(luò)搜索領(lǐng)域外，如何使用MapReduce對其它領(lǐng)域(尤其是數(shù)值計(jì)算領(lǐng)域)的具體應(yīng)用進(jìn)行設(shè)計(jì)與分析還沒有系統(tǒng)、詳細(xì)的研究和闡述。為此，本文圍繞這些環(huán)節(jié)展開研究工作，具體研究工作與成果如下： 第一，研究了并行算

3、法空間中由任務(wù)組織、由數(shù)據(jù)分解組織和由數(shù)據(jù)流組織這幾種并行問題組織原則與MapReduce模式的關(guān)系，綜合MapReduce模式以及幾種原則的特性，給出了如何用MapReduce對這幾種不同原則描述的問題進(jìn)行表述。 第二，將任務(wù)分解、分治策路、流水線等并行問題分析模式與MapReduce模式相結(jié)合，用MapReduce來描述這些并行模型，并且對每個(gè)模式中出現(xiàn)的典型應(yīng)用或算法進(jìn)行分析。并通過對MapReduce在這些模式上的應(yīng)用和

4、對具體應(yīng)用的分析，給出了使用MapReduce模式分析問題的步驟及方法。 第三，提出了在用MapReduce模式解決問題時(shí)所用到的關(guān)鍵數(shù)據(jù)結(jié)構(gòu)，一方面是輸入數(shù)據(jù)的表示，其中包括輸入數(shù)據(jù)和輸入數(shù)據(jù)的特征，并結(jié)合矩陣數(shù)據(jù)劃分的分析過程，給出了數(shù)據(jù)結(jié)構(gòu)的設(shè)計(jì)要點(diǎn)和方法。另一方面，分析了key值的作用，研究了key值與MPI中通信模式的關(guān)系，給出了選擇和設(shè)計(jì)key值的原則。 第四，將MapReduce引入數(shù)值計(jì)算領(lǐng)域，在HPMR