高性能計算中作業(yè)調(diào)度技術(shù)與集群管理系統(tǒng)的研究.pdf

1、計算科學(xué)從誕生以來，已經(jīng)在科學(xué)研究、工程技術(shù)以及軍事等方面取得了巨大的成就。在計算科學(xué)的發(fā)展過程中，高性能計算技術(shù)憑借其易用性、靈活性和平臺無關(guān)性等特點，在國內(nèi)外廣受關(guān)注。同時，高性能計算也是許多計算學(xué)科的工具基礎(chǔ)，正因如此，高性能計算中常用的集群技術(shù)正愈發(fā)受到各科研部門的重視和關(guān)注。
　　集群管理系統(tǒng)主要包括了資源管理、作業(yè)管理和用戶管理，本文主要從高性能計算的起源、發(fā)展趨勢以及相比大型機的優(yōu)勢所在等方面闡述高性能計算中資源管理

2、、作業(yè)管理和用戶管理的研究成果。
　　本文主要的工作如下：
　　1、介紹了集群硬件架構(gòu)的發(fā)展過程，分析了Linux高性能集群系統(tǒng)平臺的構(gòu)成，闡述了集群中各硬件節(jié)點以及所用網(wǎng)絡(luò)的功能，同時對集群中軟件架構(gòu)進行了分析；
　　2、以資源管理器Torque與作業(yè)調(diào)度器Maui組合為基礎(chǔ)，結(jié)合監(jiān)控軟件Ganglia，給出利用Python語言在Django框架下開發(fā)集群系統(tǒng)管理軟件CCLAB的過程。
　　3、分析了CCLAB

3、中“作業(yè)調(diào)度”、“集群用戶”和“集群監(jiān)控”三個Portlet的設(shè)計開發(fā)過程，給出了CCLAB中URL的設(shè)計過程，并分析了文中采用的GPFS并行文件系統(tǒng)、消息傳遞接口(MPI)技術(shù)以及集群遠程電源管理的工作原理；
　　4、分析了作業(yè)調(diào)度的分類和過程，根據(jù)作業(yè)調(diào)度器Maui調(diào)度作業(yè)的方式對作業(yè)調(diào)度進行數(shù)學(xué)模型抽象，通過有向無環(huán)圖(DAG圖)解釋調(diào)度過程。在分析了常用的FCFS策略、優(yōu)先級調(diào)度策略、Firstfit策略、Bestfit策

4、、預(yù)約策略和回填策略優(yōu)缺點的基礎(chǔ)上，改進并分析了一種基于節(jié)點負載情況自定義優(yōu)先級預(yù)約回填的策略(“BLPRB”策略)，拓展了單、雙策略的研究，并對其實現(xiàn)節(jié)點負載評估、作業(yè)優(yōu)先級確定和預(yù)約資源以及回填作業(yè)的過程進行詳細分析，給出“BLPRB”策略確定預(yù)約作業(yè)最遲執(zhí)行時間和解決大作業(yè)饑餓問題的算法理論分析，最后將該策略集成到Maui調(diào)度器中。
　　在搭建的高性能計算平臺上進行驗證分析，結(jié)果表明BLPRB策略相比Firstfit和FCF