基于YARN的FPGA異構集群系統(tǒng)研究.pdf

1、近年來，在Hadoop平臺上集成FPGA進行算法加速的研究受到了廣泛關注。通過利用Hadoop將計算過程在節(jié)點之間并行，以及在單個計算節(jié)點上利用FPGA硬件加速，這些研究對特定算法的加速上取得了很好的效果。但是，它們大多假設集群計算節(jié)點同構，沒有在集群層面對 FPGA加速器資源進行統(tǒng)一的管理和調度，應用程序開發(fā)復雜程度高。而且，整個集群的軟硬件結構為運行某一特定的算法高度定制，通用性差，資源利用率較低。另外，受限于 FPGA計算邏輯固化

2、的特點，已有的在Hadoop集群中管理其他計算加速設備的方法不適用于管理FPGA加速器。
　　YARN資源管理平臺的出現(xiàn)為FPGA資源統(tǒng)一管理提供了可能。結合FPGA加速器邏輯專用性的特點，采用資源表示維度擴充和基于標簽的資源調度相結合的方法對YARN平臺進行擴展，擴展YARN平臺能夠在包含多種FPGA加速器的異構集群中對FPGA加速器資源進行統(tǒng)一的管理和調度。同時，擴展平臺隱藏了FPGA加速器在集群中的位置分布，為應用程序申請和

3、使用加速器提供了統(tǒng)一的接口。此外，通過對YARN平臺上的計算框架的資源申請和子任務執(zhí)行邏輯進行擴展，擴展計算框架在保持原有計算模式不變的基礎上具備在運行過程中申請和使用 FPGA加速器的能力。
　　在擴展YARN資源管理平臺下同時運行普通應用程序以及FPGA加速的應用程序的結果表明，擴展平臺在具備了 FPGA資源管理和調度能力的同時，保持了對原生YARN平臺上的各種計算框架的支持，使得集群通用性和資源利用率都有了很大的提高。在擴展