眾核加速器的緩存管理.pdf

1、為了延續(xù)摩爾定律，半導體產(chǎn)業(yè)開始向高效能的異構芯片或系統(tǒng)的方向發(fā)展。以GPU為代表的眾核加速器得到廣泛應用，并且開始集成到通用微處理器中。GPU采用SIMT執(zhí)行模型，對于很多訪存模式規(guī)則的應用程序， GPU能夠通過大規(guī)模多線程來隱藏訪存延遲。為了支持更多不規(guī)則訪存模式的應用程序，片上緩存層次結(jié)構被加入到GPU體系結(jié)構中，來捕捉時間和空間局部性，從而緩解不規(guī)則訪問對系統(tǒng)性能的不利影響。然而， GPU緩存的效率不高，制約了系統(tǒng)的性能和效能。

2、
　　GPU緩存低效的主要原因是其管理策略同面向吞吐率的執(zhí)行模型不相適應。GPU生成的大量訪存請求引起了緩存沖突和資源擁塞?，F(xiàn)有的CPU緩存管理策略是針對多核系統(tǒng)設計的，直接應用到GPU中效果并不好。這主要是因為CPU緩存管理策略無法有效控制工作集和其它資源使用情況。不僅如此，當大規(guī)模并行受限于片上資源時，計算部件長時間處于等待數(shù)據(jù)的狀態(tài)，系統(tǒng)效能也會因此降低。為了盡可能地減少訪存延遲和帶寬需求，程序員往往需要對GPU代碼進行復雜

3、而繁瑣的優(yōu)化，這在很大程度上增加了程序員的負擔。
　　為了解決上述問題，本文提出針對GPGPU的執(zhí)行模式定制其片上緩存管理策略。對線程束調(diào)度和流訪問模式感知的緩存替換策略能夠減少緩存污染和沖突?；谥赜镁嚯x的緩存旁路策略對緩存層次進行保護，以緩解緩存沖突。動態(tài)監(jiān)測機制在運行時通過計數(shù)器采樣獲取緩存沖突和資源擁塞的信息。為了避免過度使用片上資源，旁路策略協(xié)同線程束調(diào)節(jié)機制對活躍的線程束數(shù)目進行動態(tài)控制。本文的研究工作和創(chuàng)新點主要包括

4、：
　　1.提出了針對GPGPU大規(guī)模并行執(zhí)行模式下訪存行為的自適應緩存替換和旁路策略。本文對GPGPU應用的訪存行為進行了詳細的模擬和分析，實驗結(jié)果顯示了GPU緩存的低效及其根源。針對嚴重的緩存污染和沖突問題，本文將CPU中現(xiàn)有的先進緩存管理策略移植到GPU中，實驗結(jié)果顯示，先進的管理策略能夠一定程度上提升GPU緩存效率，但是仍然存在局限性。本文結(jié)合了目前最先進的防污染和防沖突緩存管理策略，提出了針對GPU中流訪問模式和劇烈沖突

5、問題的管理策略，實驗結(jié)果表明，該策略能夠獲得明顯的性能提升。
　　2.提出了克服單純旁路策略局限性的協(xié)同旁路和線程束調(diào)節(jié)技術。在緩存旁路策略對緩存層次進行保護的基礎上，引入線程束調(diào)節(jié)機制對活躍的線程束數(shù)目進行動態(tài)控制。通過動態(tài)緩存沖突和資源擁塞監(jiān)測機制獲取反饋信息，指導線程束調(diào)節(jié)。本文還提出了一個簡單的預測器來動態(tài)估計最優(yōu)的活躍線程束數(shù)目，以充分利用緩存容量和其它片上資源。實驗結(jié)果表明，對于緩存敏感的測試程序，該方法能顯著提高緩存

6、效率，且更好地利用片上資源。相比基準GPU架構和最優(yōu)靜態(tài)線程束調(diào)節(jié)，系統(tǒng)性能（ IPC）分別平均提升了74％和17%，（最多提升達到661%和44%）。
　　3.提出了GPGPU中緩存感知的功耗管理機制。理想情況下GPU的峰值性能同其計算單元的數(shù)目和工作頻率成正比，但實際的應用程序?qū)ο到y(tǒng)資源的需求差異很大，訪存密集的應用程序很可能受限于存儲子系統(tǒng)，因而遠遠無法達到其峰值的計算性能。本文針對受限于存儲子系統(tǒng)的訪存密集型應用程序，考慮