基于FPGA加速的YARN異構(gòu)集群管理方法研究.pdf

1、大數(shù)據(jù)時(shí)代下，通用處理器的處理能力無法滿足工業(yè)界、學(xué)術(shù)界對(duì)數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)類算法計(jì)算性能要求，加速設(shè)備與Hadoop集群融合已成為一種重要的趨勢(shì)。當(dāng)前研究主要集中在利用加速設(shè)備實(shí)現(xiàn)MapReduce編程模型，或者利用Hadoop集群集成加速設(shè)備，探討利用加速設(shè)備的并行計(jì)算能力及其他優(yōu)勢(shì)優(yōu)化MapReduce計(jì)算框架。在Hadoop集群上集成加速設(shè)備，需要從實(shí)現(xiàn)的角度，研究加速設(shè)備的具體集成方式，構(gòu)造更通用、可靠性更高的加速系統(tǒng)。

2、>　　Hadoop集群中計(jì)算任務(wù)分為本地任務(wù)與非本地任務(wù)，任務(wù)執(zhí)行的基本設(shè)計(jì)思想是“計(jì)算跟著數(shù)據(jù)走”，但考慮到作業(yè)執(zhí)行效率，非本地任務(wù)的計(jì)算數(shù)據(jù)會(huì)通過網(wǎng)絡(luò)傳輸?shù)竭_(dá)任務(wù)執(zhí)行節(jié)點(diǎn)，利用任務(wù)執(zhí)行節(jié)點(diǎn)的計(jì)算資源進(jìn)行運(yùn)算。當(dāng)加速設(shè)備在Hadoop集群中每臺(tái)計(jì)算節(jié)點(diǎn)不統(tǒng)一部署時(shí)，即YARN異構(gòu)集群，任務(wù)執(zhí)行節(jié)點(diǎn)有可能沒有加速計(jì)算資源，但現(xiàn)有的研究工作中非本地任務(wù)有可能無法完成計(jì)算，導(dǎo)致加速程序運(yùn)行失敗。在YARN平臺(tái)集成FPGA加速器基礎(chǔ)上針對(duì)YA

3、RN異構(gòu)集群提出解決方案，方案首先將集群計(jì)算節(jié)點(diǎn)分為加速類型計(jì)算節(jié)點(diǎn)和非加速類型計(jì)算節(jié)點(diǎn)，針對(duì)加速程序，數(shù)據(jù)塊副本定向存儲(chǔ)到加速類型計(jì)算節(jié)點(diǎn)上，并且集群資源調(diào)度器只分配加速類型計(jì)算節(jié)點(diǎn)的資源容器，有效地解決了加速程序的非本地任務(wù)成功執(zhí)行問題。普通類型應(yīng)用程序則按照原有的執(zhí)行方式運(yùn)行。
　　所提解決方案主要對(duì)HDFS客戶端寫數(shù)據(jù)過程以及資源調(diào)度器資源調(diào)度算法進(jìn)行改造，通過實(shí)驗(yàn)驗(yàn)證其可行性和向前兼容性，并對(duì)擴(kuò)展后的資源調(diào)度器就小規(guī)模集