基于SMP-Cluster架構(gòu)的并行程序性能數(shù)據(jù)收集、表示和分析軟件包框架原型的研究與設計.pdf

1、作為解決大規(guī)模計算問題的重要手段，高性能計算越來越廣泛地應用到科學與工程的各個領(lǐng)域。隨著高性能計算的快速發(fā)展，有兩個現(xiàn)象值得關(guān)注：一方面，并行計算機的峰值性能提升迅速，理論峰值計算速度高達每秒百萬億次的超級計算機系統(tǒng)已經(jīng)被研制成功，高性價比的機群系統(tǒng)(Cluster)已逐步成為高性能計算機的主流架構(gòu)，促進了高性能計算在更多領(lǐng)域的普及與應用；另一方面，并行應用軟件的缺乏，導致高性能計算機表現(xiàn)出的實際性能一直處在較低的水平上。從統(tǒng)計分析可知

2、，當前大型并行應用軟件僅能發(fā)揮20％甚至10％以下的系統(tǒng)峰值性能。因此，實際應用程序獲得的持續(xù)性能與機器理論峰值性能之間的差異不斷擴大已成為一個不爭的事實。 優(yōu)化和提高并行應用程序的實際性能已成為目前學術(shù)界與工業(yè)界關(guān)注的焦點。在程序性能優(yōu)化過程中，必須首先找出影響程序性能的主要原因，然后才能有針對性地對應用程序代碼和數(shù)據(jù)結(jié)構(gòu)加以改進，從而實現(xiàn)性能優(yōu)化。因此程序性能測試與分析軟件包就成為高性能計算程序開發(fā)與優(yōu)化周期中非常重要的一種

3、工具。目前國際上已有很多機構(gòu)和研究單位專門從事對大規(guī)模并行應用程序性能進行監(jiān)測與分析等軟件工具集的研究與開發(fā)，并取得了很多研究成果。而我國在這方面的研究相對落后，為了改變現(xiàn)狀，在國家973項目《大規(guī)?？茖W計算》課題：“大規(guī)模計算工程軟件系統(tǒng)的基礎理論和實施"中，設立了一個項目分支專門從事有關(guān)并行程序性能數(shù)據(jù)收集、分析及可視化等技術(shù)的研究與開發(fā)。本文的工作重點之一就是圍繞這個主題，選取一個開源的、先進的具有自動進行并行性能測試與分析功能的

4、工具集KOJAK，對其中若干關(guān)鍵技術(shù)進行詳細的剖析，為我國自行研制高效的、智能的并行性能測試與分析工具集提供一些借鑒。 基于硬件性能監(jiān)視計數(shù)器的程序性能測試與分析正在成為現(xiàn)代程序性能測試與分析的基礎。同時，為方便用戶安全地訪問這些底層硬件計數(shù)器，可供用戶程序調(diào)用的接口軟件包被大量開發(fā)出來，其中適用平臺最廣泛的PAPI軟件包得到了業(yè)內(nèi)人士的一致好評，并已被集成到很多第三方軟件中。目前基于PAPI的串行程序性能數(shù)據(jù)收集和分析已經(jīng)取得

5、了很多成果，但是將PAPI集成到并行程序軟件中對并行程序的性能行為進行測試與分析的相關(guān)研究并不多。因此本文創(chuàng)新性地提出了一個并行PAPI的概念，并給出一個基于PAPI的并行程序性能數(shù)據(jù)收集、分析和顯示的軟件包框架原型。 本文的主要研究工作如下： l、國產(chǎn)萬億次機群系統(tǒng)上高性能應用軟件性能數(shù)據(jù)的整理和分析。 收集并分析高性能應用軟件在國家973LSSCII萬億次機群系統(tǒng)(深騰1800機群系統(tǒng))上運行時的程序性能數(shù)據(jù)

6、，依據(jù)這些寶貴的性能數(shù)據(jù)資料，本文真實地揭示出國產(chǎn)萬億次機群系統(tǒng)上高性能應用軟件的運行現(xiàn)狀，為我們正確認識峰值性能與實際性能之間的差異提供了依據(jù)，從而給我們敲響了警鐘，讓大家從過去只注重硬件而忽視軟件開發(fā)的怪圈中擺脫出來。我們必須要清醒地認識到：只有良好的應用程序配上強大的硬件平臺才能真正發(fā)揮整個系統(tǒng)的運行能力。 2、對一個自動并行程序性能分析工具集KOJAK的全面剖析。 由于目前我國普遍使用的高性能計算平臺是基于機群體

7、系結(jié)構(gòu)的，而且并行體系結(jié)構(gòu)的未來趨勢(至少在未來5年內(nèi))是明確的，也就是大多數(shù)并行將趨于一種混合結(jié)構(gòu)SMP—Cluster，即由一組SMP節(jié)點構(gòu)成的分布存儲系統(tǒng)，每個節(jié)點中包含適量的CPU，位于一個節(jié)點內(nèi)的所有CPU共享一個存儲器。為此本文將選取一套國際上先進的基于SMP—Cluster架構(gòu)的自動并行程序性能分析工具集KOJAK作為剖析的對象，對其中涉及到的若干關(guān)鍵技術(shù)進行了詳細的剖析，為我國以后自行研制高效的、智能的并行性能測試與分析

8、工具集提供一些借鑒。只有先謙虛地學習別人的先進經(jīng)驗，才能在自己的研究工作中少走彎路。 3、提出一個并行PAPI的思想，并給出一個基于并行PAPI的并行程序性能數(shù)據(jù)收集、表示和分析軟件包框架原型。 并行PAPI的思想就是把PAPI插入到每個MPI進程中，分別對每個進程的性能進行監(jiān)視和分析，然后再綜合起來對整個并行程序進行評價，從而避免直接對并行程序的某幾個進程進行分析而造成的混亂。將PAPI與并行程序相結(jié)合，利用并行PAP

9、I這個思想，本文還、給出一個綜合現(xiàn)有技術(shù)的特點而設計的高性能應用程序性能測試與分析軟件包框架的雛形ParaPAPI-Viewer。 ParaPAPI-Viewer是一個基于PAPI的并行程序性能數(shù)據(jù)收集、顯示及分析的工具軟件包，用于收集和分析基于消息傳遞機制的MPI并行程序的性能數(shù)據(jù)。ParaPAPI-Viewer工具軟件包的目標就是將用戶從以前繁瑣的手工性能數(shù)據(jù)收集、顯示和分析的工作中解脫出來，實現(xiàn)性能分析自動化，并且提供給用