基于MPI和MapReduce的分布并行計(jì)算研究.pdf

1、并行計(jì)算是提高計(jì)算機(jī)系統(tǒng)計(jì)算速度和處理能力的一種有效手段。MPI是目前開(kāi)發(fā)并行應(yīng)用程序的主要編程模型——消息傳遞編程模型的事實(shí)標(biāo)準(zhǔn)。Hadoop是一個(gè)在集群上處理大級(jí)別數(shù)據(jù)量的分布式并行編程框架,實(shí)現(xiàn)了Google的MapReduce編程模型,是目前最為廣泛應(yīng)用的開(kāi)源云計(jì)算軟件平臺(tái)。隨著PC機(jī)性能的大幅度提高和網(wǎng)絡(luò)技術(shù)的迅速發(fā)展,并行計(jì)算平臺(tái)在普通PC機(jī)構(gòu)建的機(jī)群上能夠很好的應(yīng)用,使得并行計(jì)算得以普遍應(yīng)用。
　　 本文從應(yīng)用和研

2、究的角度,對(duì)MPI并行編程模型和Hadoop分布式編程框架的相關(guān)理論進(jìn)行了詳細(xì)的分析,設(shè)計(jì)了基于MPI的分子動(dòng)力學(xué)模擬,對(duì)Hadoop作業(yè)調(diào)度算法進(jìn)行了改進(jìn)。論文主要的工作如下:
　　 1.介紹了并行計(jì)算的相關(guān)理論,論述了MPI主要的接口函數(shù)、通信機(jī)制、程序設(shè)計(jì)平臺(tái)搭建等,研究MPI實(shí)現(xiàn)并行計(jì)算的機(jī)制和方法,對(duì)云計(jì)算、Hadoop的分布式計(jì)算模型MapReduce和分布式文件系統(tǒng)HDFS、Hadoop容錯(cuò)機(jī)制進(jìn)行分析和研究,總結(jié)

3、了MPI與Hadoop的相同和不同點(diǎn)。
　　 2.設(shè)計(jì)了基于MPI并行編程模型的分子動(dòng)力學(xué)并行模擬,在此基礎(chǔ)上通過(guò)改變模擬參數(shù)進(jìn)行實(shí)驗(yàn)。通過(guò)不同時(shí)間步數(shù)串行程序和并行程序耗時(shí)比較,分析模擬規(guī)模和模擬時(shí)間增加的關(guān)系,通過(guò)多節(jié)點(diǎn)多進(jìn)程并行程序?qū)嶒?yàn)結(jié)果分析節(jié)點(diǎn)個(gè)數(shù)和進(jìn)程個(gè)數(shù)對(duì)計(jì)算時(shí)間的影響和系統(tǒng)的并行加速比。另外,本文通過(guò)通信時(shí)間分析計(jì)算節(jié)點(diǎn)個(gè)數(shù)和計(jì)算耗時(shí)的下降速率之間的關(guān)系,分析MPI聚合通信函數(shù)的執(zhí)行效率。
　　 3.將L