面向通用計(jì)算GPU集群的任務(wù)自動分配系統(tǒng).pdf

1、面向通用計(jì)算的GPU具有超強(qiáng)的大規(guī)模數(shù)據(jù)并行計(jì)算能力，以及高吞吐量、高性價(jià)比等特點(diǎn)，而采用其作為加速設(shè)備的GPU集群則成為高性能計(jì)算領(lǐng)域的研究熱點(diǎn)。由于GPU的加入，GPU集群呈現(xiàn)了多層次、復(fù)雜的的異構(gòu)特征，使得應(yīng)用程序開發(fā)、運(yùn)行帶來了很大的難度。當(dāng)前對這一體系結(jié)構(gòu)進(jìn)行編程，是通過將傳統(tǒng)的節(jié)點(diǎn)級通信模型MPI和具體的加速器設(shè)備編程模型(如CUDA)進(jìn)行簡單的松散耦合，形成的直觀、可用的GPU集群編程模型(如MPI+CUDA)。
　

2、　在MPI+CUDA編程模型中，程序員需要手工的完成任務(wù)到節(jié)點(diǎn)的分配，這需要了解底層的體系結(jié)構(gòu)細(xì)節(jié)信息。當(dāng)集群規(guī)模較大時(shí)，采用手工的方式進(jìn)行任務(wù)分配難度非常大。而且手工分配的結(jié)果和具體的底層集群體系結(jié)構(gòu)高度相關(guān)，這也影響了程序的可移植性和可擴(kuò)展性。此外，該模型按照任務(wù)控制邏輯對應(yīng)用進(jìn)行劃分，這使之難以有效的挖掘應(yīng)用中的數(shù)據(jù)并行性，并難以獲得任務(wù)間的數(shù)據(jù)流依賴關(guān)系，因而難以實(shí)施有效地細(xì)粒度任務(wù)分配策略。基于MPI+CUDA編程模型存在的上

3、述缺陷，本文引入了DISPAR數(shù)據(jù)流模型這樣一種公認(rèn)的適合于描述數(shù)據(jù)密集型應(yīng)用的模型，并試圖在這樣一個(gè)新的編程模型下實(shí)施自動、優(yōu)化的任務(wù)分配機(jī)制。
　　DISPAR編程模型將數(shù)據(jù)密集型應(yīng)用中的計(jì)算抽象為虛擬計(jì)算單元VNODE。VNODE之間具有統(tǒng)一的、明確自定義的通信接口PIPE，因此任務(wù)之間的數(shù)據(jù)流依賴關(guān)系能夠方便的獲得。本文設(shè)計(jì)并實(shí)現(xiàn)了基于DISPAR編程模型的任務(wù)自動分配系統(tǒng)StreamMAP:(1)通過對DISPAR源程序

4、中的任務(wù)資源需求和數(shù)據(jù)流通信關(guān)系進(jìn)行分析獲得整個(gè)集群應(yīng)用的任務(wù)資源需求拓?fù)鋱D，完成對集群任務(wù)的抽象表達(dá)。(2)提出了由“控制節(jié)點(diǎn)發(fā)出詢問、各節(jié)點(diǎn)響應(yīng)”這樣一個(gè)獲取集群當(dāng)前資源分布信息（當(dāng)前節(jié)點(diǎn)資源表）的方案，這樣只需依賴一個(gè)普通的MPI程序就可動態(tài)獲取集群的資源分布信息，不涉及任何操作系統(tǒng)層面的改造。通過這種較為簡單的方式獲得底層集群系統(tǒng)的資源模型。(3)在此基礎(chǔ)上，提出并實(shí)現(xiàn)了一種兼顧高并行度、負(fù)載均衡、減少任務(wù)見通信代價(jià)等多個(gè)優(yōu)化目