基于超級(jí)計(jì)算機(jī)的并行FDTD關(guān)鍵技術(shù)與應(yīng)用.pdf

1、電磁場(chǎng)與電磁波在生產(chǎn)生活中發(fā)揮著越來(lái)越重要的作用。數(shù)值計(jì)算具有精確高效、靈活方便等顯著優(yōu)勢(shì)，因此成為電磁特性分析與設(shè)計(jì)的現(xiàn)代化手段，也日益發(fā)揮著越來(lái)越重要的作用。時(shí)域有限差分(FDTD)法作為電磁場(chǎng)三大經(jīng)典數(shù)值方法之一，具有自己獨(dú)特的優(yōu)勢(shì)。對(duì)于電大尺寸及具有復(fù)雜（細(xì)?。┙Y(jié)構(gòu)的電磁目標(biāo)仿真，巨大的內(nèi)存資源和計(jì)算時(shí)間消耗成為了該算法的限制因素。隨著當(dāng)今計(jì)算機(jī)軟硬件的飛速發(fā)展，大型計(jì)算機(jī)集群為大規(guī)模復(fù)雜電磁問(wèn)題的解決提供了可能。利用計(jì)算能力更

2、強(qiáng)的平臺(tái)來(lái)求解大規(guī)模電磁場(chǎng)問(wèn)題成為計(jì)算電磁學(xué)領(lǐng)域中的熱點(diǎn)和挑戰(zhàn)之一。作為大型計(jì)算機(jī)集群中新興的純國(guó)產(chǎn)計(jì)算機(jī)而言，由于其編譯器等環(huán)境都是針對(duì)國(guó)產(chǎn)CPU的架構(gòu)自主開(kāi)發(fā)的，與通用計(jì)算機(jī)平臺(tái)的環(huán)境存在著較大的差異，且在純國(guó)產(chǎn)超級(jí)計(jì)算平臺(tái)中對(duì)電磁應(yīng)用領(lǐng)域進(jìn)行相關(guān)的研究工作具有更高的安全性，因此在國(guó)產(chǎn)計(jì)算機(jī)中對(duì)自主開(kāi)發(fā)的并行FDTD算法程序進(jìn)行移植和測(cè)試顯得尤為重要。作為提升求解效率的重要手段，采用新型的硬件資源國(guó)產(chǎn)眾核處理器，可進(jìn)一步加速求解速度

3、，縮短數(shù)值計(jì)算的時(shí)間。
　　基于上述原因，本文基于國(guó)內(nèi)超級(jí)計(jì)算機(jī)硬件平臺(tái)，對(duì)并行FDTD算法的性能優(yōu)化及其大規(guī)模應(yīng)用進(jìn)行了深入研究。本文的主要工作可以概括為:
　　(1).基于FDTD方法的運(yùn)算特性，采用笛卡爾(Cartesian)拓?fù)浣Y(jié)構(gòu)來(lái)描述整個(gè)計(jì)算空間子區(qū)域間的邏輯關(guān)系，實(shí)現(xiàn)了基于MPI的并行FDTD方法，并建立影響并行FDTD并行效率性能的數(shù)學(xué)模型。通過(guò)理論分析，提出可獲得較高并行性能的虛擬拓?fù)溥x取理論準(zhǔn)則。同時(shí)給出

4、一種采用并行策略實(shí)現(xiàn)基三角面片模型來(lái)提取FDTD立方體模型的方法，使得核心程序與模型無(wú)關(guān)，相比于串行建模法，極大的提高了建模速度。當(dāng)問(wèn)題規(guī)模較大時(shí)，效率可提升60％以上;
　　(2).基于上述理論準(zhǔn)則，在國(guó)家超級(jí)計(jì)算天津中心和國(guó)家超級(jí)計(jì)算深圳中心兩個(gè)通用平臺(tái)上對(duì)并行FDTD虛擬拓?fù)鋬?yōu)化進(jìn)行了大量測(cè)試驗(yàn)證工作。通過(guò)對(duì)天津中心測(cè)試結(jié)果的分析，得出跨節(jié)點(diǎn)通信少的虛擬拓?fù)淇色@得較好的并行性能。而通過(guò)對(duì)深圳中心測(cè)試結(jié)果的分析，得出在整個(gè)通信

5、任務(wù)中，占主要通信任務(wù)的通信量小時(shí)，算法可獲得較好的并行性能。綜合兩個(gè)通用平臺(tái)上的結(jié)果以及數(shù)學(xué)模型得出的理論準(zhǔn)則，給出通用平臺(tái)上并行FDTD最優(yōu)化虛擬拓?fù)涞囊话阈詼?zhǔn)則，即:a、基本準(zhǔn)則是選擇拓?fù)涫沟每偼ㄐ帕孔钚?b、通信總量相當(dāng)?shù)那闆r下，跨節(jié)點(diǎn)通信少的拓?fù)浣Y(jié)構(gòu)性能一般較好;c、跨節(jié)點(diǎn)通信量相當(dāng)時(shí)，選擇通信負(fù)載較為均衡的拓?fù)洹；谠摐?zhǔn)則，計(jì)算時(shí)可獲得較高的并行性能;
　　(3).考慮到純國(guó)產(chǎn)CPU的計(jì)算機(jī)與通用計(jì)算機(jī)平臺(tái)的區(qū)別，研究

6、了純國(guó)產(chǎn)平臺(tái)上并行FDTD方法獲得高效率的虛擬拓?fù)錅?zhǔn)則。受限于國(guó)產(chǎn)CPU的內(nèi)存，整個(gè)測(cè)試采用分段測(cè)試的方式進(jìn)行。通過(guò)對(duì)測(cè)試結(jié)果的分析，得出了與通用平臺(tái)上基本一致的最優(yōu)化虛擬拓?fù)溥x取準(zhǔn)則;
　　(4).基于國(guó)產(chǎn)眾核平臺(tái)的特點(diǎn)，對(duì)并行FDTD方法進(jìn)行了算法上的移植。并針對(duì)國(guó)產(chǎn)眾核平臺(tái)上獨(dú)有的編程方式，對(duì)并行FDTD方法的并行策略進(jìn)行了優(yōu)化。通過(guò)對(duì)多個(gè)算例模型的測(cè)試，得出了在國(guó)產(chǎn)眾核平臺(tái)上算法的加速性能;
　　(5).在不同的測(cè)試

7、平臺(tái)上，對(duì)FDTD的并行性能進(jìn)行了測(cè)試。在純國(guó)產(chǎn)CPU計(jì)算機(jī)平臺(tái)上突破了10萬(wàn)核，以128 CPU核為基準(zhǔn)，算法在10240 CPU核時(shí)的并行效率仍可達(dá)67％以上。在通用平臺(tái)上突破了30萬(wàn)核，以6萬(wàn)CPU核為基準(zhǔn)，算法在30萬(wàn)CPU核時(shí)的并行效率可達(dá)80％以上。在國(guó)產(chǎn)眾核平臺(tái)上突破了400萬(wàn)核，最大計(jì)算Yee網(wǎng)格量約為1萬(wàn)億;值得指出，根據(jù)2015年5月的查新報(bào)告顯示，這是目前國(guó)際上最大并行規(guī)模的國(guó)產(chǎn)電磁仿真應(yīng)用。
　　(6).在