基于性能監(jiān)測硬件支持的片上緩存資源管理技術(shù).pdf

1、如何高效利用片上高速緩存是多核處理器研究的一個重要課題。現(xiàn)有的片上高速緩存管理機制是軟件透明的，不能實時感知程序數(shù)據(jù)集的局部性特征，以及來自多個線程不同的訪存請求。一方面，當(dāng)多個線程同時在多核處理器上運行時，現(xiàn)有的緩存管理策略不僅不能保證每個任務(wù)的運行性能，還會導(dǎo)致共享緩存的多個任務(wù)之間發(fā)生不可預(yù)測的緩存競爭，形成相互干擾，降低系統(tǒng)的吞吐量。另一方面，由于軟件不能控制緩存空間的分配，僅靠硬件進(jìn)行管理，使得程序?qū)Ω咚倬彺娴睦眯什桓撸?/p>

2、其對于單線程程序，不能利用多核處理器豐富的片上緩存資源來獲得性能加速。
　　 針對以上問題，本文研究如何利用硬件性能監(jiān)測單元來實時監(jiān)測程序運行時的訪存特征信息，實現(xiàn)對多線程運行時的共享緩存競爭管理，以及對單線程程序運行時的緩存空間分配，從而提高多任務(wù)系統(tǒng)的吞吐量和性能穩(wěn)定性，并為單線程程序執(zhí)行提供高效的緩存控制手段。本文的研究內(nèi)容和主要工作成果包括以下幾個方面:
　　 (1)研究了能夠?qū)崟r感知程序運行時訪存特征的性能監(jiān)測

3、機制，提出了基于性能監(jiān)測單元而實現(xiàn)的低代價訪存性能監(jiān)測方案LWM。LWM可以為用戶層提供程序運行時訪存性能信息的功能，以及為緩存管理器提供系統(tǒng)級的資源使用信息，減少了訪存性能監(jiān)測的代價。在實現(xiàn)過程中，我們在每個任務(wù)結(jié)構(gòu)體中加入性能事件成員、提供事件配置的系統(tǒng)調(diào)用接口，并且對計數(shù)器溢出和上下文切換過程中出現(xiàn)的錯誤計數(shù)進(jìn)行了處理。此外，我們還優(yōu)化了性能計數(shù)器的分時復(fù)用機制，提高了多事件監(jiān)測過程中的事件監(jiān)測精度以及性能計數(shù)器的利用率。

4、　　 (2)研究了多個任務(wù)對共享緩存資源的競爭問題，提出了訪存負(fù)載概念并設(shè)計了訪存負(fù)載平衡調(diào)度算法，提高了多任務(wù)系統(tǒng)吞吐量和程序的性能穩(wěn)定性。本文提出了一種訪存負(fù)載平衡調(diào)度技術(shù)來解決多任務(wù)共享緩存競爭問題。訪存負(fù)載平衡調(diào)度算法參照了操作系統(tǒng)計算負(fù)載平衡調(diào)度算法的設(shè)計，可以作為操作系統(tǒng)負(fù)載平衡系統(tǒng)的擴展。由于本文將訪存負(fù)載平衡調(diào)度實現(xiàn)為一個用戶層的負(fù)載調(diào)度系統(tǒng)，所以不需要對操作系統(tǒng)內(nèi)核進(jìn)行改動。通過與其它調(diào)度算法進(jìn)行實驗比較后，證明本文

5、提出的訪存負(fù)載平衡調(diào)度算法在程序加權(quán)加速，以及提升系統(tǒng)整體吞吐量方面都有較大改進(jìn)，降低了多任務(wù)對共享緩存的競爭強度，減少了系統(tǒng)整體的片外訪存請求數(shù)量。得益于算法的穩(wěn)定性能，訪存負(fù)載平衡調(diào)度降低了程序多次運行之間的性能差異性，可以為操作系統(tǒng)實現(xiàn)公平可靠的任務(wù)調(diào)度算法提供支持。
　　 (3)研究了單線程程序運行于多核處理器平臺時的緩存空間利用率不高的問題，提出了一種新型緩存控制機制VSCP，提高了單線程程序的緩存利用率并加速了程序執(zhí)

6、行。本文提出的新型緩存控制方法VSCP可以有效提升單線程程序?qū)Χ嗪颂幚砥髌暇彺婵臻g的利用率，VSCP聯(lián)合了整個系統(tǒng)上的緩存資源并為程序員提供顯式的緩存控制接口，物理分布的緩存空間被虛擬化成用戶可控的集中式緩存。與通過程序并行化來最大化計算資源的使用不同，VSCP試圖去最大化緩存資源的利用率。VSCP保持單線程程序一段時間內(nèi)只使用一個處理器核的狀態(tài)，減少多核同時工作的功耗。另外，在片上緩存不能存放一個程序的所有工作集時，可以利用VSCP

7、選擇部分具有強局部性的數(shù)據(jù)集駐留緩存以確保這些數(shù)據(jù)不被替換或污染，降低緩存缺失率并最終加速程序。
　　 通過對本課題的研究，我們得到了以下重要認(rèn)識:
　　 (1)訪存性能對于單個程序以及系統(tǒng)整體性能都非常重要，在“存儲墻”現(xiàn)象日益嚴(yán)重的背景下，對于提升單個程序以及系統(tǒng)整體性能來說，降低緩存缺失率比減少執(zhí)行指令數(shù)都要更加有效。
　　 (2)現(xiàn)有的緩存管理策略（包括操作系統(tǒng)任務(wù)調(diào)度和緩存替換策略的實現(xiàn)）都無法感知到線

8、程間緩存競爭與共享關(guān)系的存在，導(dǎo)致低效的緩存管理。緩存資源管理必須實現(xiàn)線程感知的策略，否則無法為系統(tǒng)性能、公平性和服務(wù)質(zhì)量等指標(biāo)提供支持。
　　 (3)解決多核處理器緩存資源管理最終還是需要軟硬件協(xié)同配合才能完成，這需要對程序運行時和緩存管理器之間的接口進(jìn)行重新設(shè)計，包括建立更好的性能監(jiān)測基礎(chǔ)設(shè)施（軟、硬件）以便觀察系統(tǒng)內(nèi)部運行時情況，以及細(xì)粒度的緩存資源分配機制，這些問題的解決需要操作系統(tǒng)設(shè)計者、硬件架構(gòu)師和程序開發(fā)人員的共同