高性能計(jì)算機(jī)的內(nèi)存和I-O特性分析及性能優(yōu)化.pdf

1、隨著計(jì)算機(jī)異構(gòu)系統(tǒng)結(jié)構(gòu)和高性能CPU等技術(shù)的飛速發(fā)展，以“天河二號(hào)”為代表的超級(jí)計(jì)算機(jī)的峰值計(jì)算性能已經(jīng)達(dá)到54.9PFlops，正在向EFlops規(guī)模發(fā)展。
　　CPU、內(nèi)存、互連網(wǎng)絡(luò)和外部設(shè)備是構(gòu)成超級(jí)計(jì)算機(jī)的主要部件，前三者是光電類型器件，而作為主要外部設(shè)備之一的存儲(chǔ)設(shè)備是機(jī)、電、磁一體的設(shè)備，它們之間的發(fā)展速度有很大差距。通常訪存和通信帶寬約為每秒幾GB，延遲約為幾納秒，但是以磁盤為主體的存儲(chǔ)設(shè)備的帶寬約為每秒幾十到幾百M(fèi)

2、B，訪問延遲為幾毫秒。計(jì)算、仿存和通信性能與I/O性能的嚴(yán)重不均衡，極大的影響了應(yīng)用程序的執(zhí)行性能。為此，需要對(duì)高性能計(jì)算應(yīng)用程序使用的計(jì)算、內(nèi)存和I/O資源進(jìn)行分析，以便了解應(yīng)用程序的運(yùn)行特性以及系統(tǒng)在訪存和I/O方面存在的性能問題，研究解決問題的方法。
　　本文圍繞對(duì)高性能計(jì)算應(yīng)用程序的特性分析主要展開了以下研究工作：
　　（1）分析了當(dāng)前超級(jí)計(jì)算機(jī)的組成結(jié)構(gòu)與發(fā)展現(xiàn)狀，研究了超級(jí)計(jì)算機(jī)的存儲(chǔ)系統(tǒng)以及高性能計(jì)算應(yīng)用程序?qū)?/p>

3、內(nèi)存和I/O的需求。
　　（2）分析了TH-1A上高性能計(jì)算應(yīng)用程序?qū)?nèi)存的使用情況，發(fā)現(xiàn)其中存在著內(nèi)存使用不充分而帶來的內(nèi)存浪費(fèi)問題。研究了優(yōu)化內(nèi)存結(jié)構(gòu)的技術(shù)方法。
　?。?）提出了一種基于NBD機(jī)制使用遠(yuǎn)程結(jié)點(diǎn)內(nèi)存構(gòu)建Page Swap區(qū)的內(nèi)存優(yōu)化技術(shù)。該技術(shù)利用了超級(jí)計(jì)算機(jī)中通過網(wǎng)絡(luò)訪問遠(yuǎn)地內(nèi)存性能優(yōu)于訪問本地磁盤性能的特點(diǎn)，采用了遠(yuǎn)程內(nèi)存交換盤技術(shù)，使得本地結(jié)點(diǎn)在內(nèi)存緊張時(shí)可將頁面交換到遠(yuǎn)地結(jié)點(diǎn)的物理內(nèi)存上，可以有效

4、提高TH-1A上的內(nèi)存使用率。
　?。?）研究對(duì)高性能計(jì)算應(yīng)用程序進(jìn)行I/O特性分析的技術(shù)方法，設(shè)計(jì)一個(gè)能在TH-1A上高效運(yùn)行的I/O Trace收集和分析工具。
　?。?）利用該工具首先對(duì)benchmark程序MADbench2和b_eff_io的I/O行為進(jìn)行監(jiān)測，然后對(duì)TH-1A上典型的數(shù)據(jù)密集型應(yīng)用石油地震勘探中的抽道集程序進(jìn)行I/O特性分析，了解了這些程序的I/O特點(diǎn)，可以幫助我們有針對(duì)性的優(yōu)化應(yīng)用程序，緩解系統(tǒng)