對象存儲系統(tǒng)中熱點數(shù)據(jù)的研究.pdf

1、隨著計算機網(wǎng)絡(luò)的飛速發(fā)展，用戶對數(shù)據(jù)需求的不斷增加，這給網(wǎng)絡(luò)存儲技術(shù)的發(fā)展帶來了機遇，同時也使分布式存儲系統(tǒng)面臨越來越多的挑戰(zhàn)。在眾多的挑戰(zhàn)中，如何提高存儲系統(tǒng)I/O性能和如何管理大規(guī)模復(fù)雜存儲系統(tǒng)是擺在很多公司企業(yè)和科研機構(gòu)面前的兩大難題。一方面，代表用戶需求的熱點數(shù)據(jù)，是解決存儲系統(tǒng)I/O性能難題的鑰匙，但是，當前熱點數(shù)據(jù)在存儲系統(tǒng)中并沒有得到最大限度地利用，也沒有全面而系統(tǒng)地分析，導(dǎo)致整個存儲系統(tǒng)的性能并沒有得到最大程度地提升。另

2、一方面，隨著存儲系統(tǒng)的日益復(fù)雜，傳統(tǒng)的人工管理方式已經(jīng)不適應(yīng)現(xiàn)代存儲技術(shù)的要求，如何把用戶的需求傳達給存儲系統(tǒng)，讓大規(guī)模存儲系統(tǒng)自適應(yīng)管理也成為一個重要的課題。
　　 對象存儲和屬性管理技術(shù)的出現(xiàn)讓上述兩個難題有了解決的可能。在對象存儲系統(tǒng)中，對象代替?zhèn)鹘y(tǒng)意義的文件，擁有更豐富的語義內(nèi)容，能夠傳遞更多熱點數(shù)據(jù)的相關(guān)信息；結(jié)合屬性管理技術(shù)，分析用戶的需求和數(shù)據(jù)訪問特征，提煉出與熱點數(shù)據(jù)相關(guān)的屬性，可以實現(xiàn)對存儲系統(tǒng)進行自適應(yīng)管理并

3、提高系統(tǒng)的性能。為此，本文首先提出了基于熱點數(shù)據(jù)系統(tǒng)級的解決方案――對實際應(yīng)用的熱點現(xiàn)象進行分析，然后根據(jù)實際應(yīng)用中的熱點數(shù)據(jù)訪問特征，率先提出了對象存儲系統(tǒng)中熱點的定義和分類，結(jié)合T10OSD-3標準建立熱點屬性頁，并針對不同應(yīng)用和負載給出了基于熱點的動態(tài)數(shù)據(jù)組織策略和服務(wù)質(zhì)量保證。
　　 其次，針對存儲系統(tǒng)中熱點預(yù)測及單級Cache中存在的問題，結(jié)合熱點數(shù)據(jù)的訪問特征和類Zipf定律，給出了一個全新的熱點預(yù)測方法――對象熱點

4、預(yù)測模型OHPM。并根據(jù)階段性熱點的特點，加入了訪問頻率增長率來預(yù)測階段性熱點以作為其補充。根據(jù)兩種熱點對象截然不同的數(shù)據(jù)訪問特征，給出了基于熱點的單級Cache策略――采用雙Cache棧的方式并實現(xiàn)自適應(yīng)管理。并對熱點命中率和時間粒度的參數(shù)問題進行了討論。
　　 再次，由于對象存儲系統(tǒng)中啟動器和目標器已然構(gòu)成多級Cache系統(tǒng)，針對當前多級Cache數(shù)據(jù)隱示中存在的普遍問題，提出了一個創(chuàng)新性的解決方案――基于K步數(shù)據(jù)隱示的多級

5、Cache算法（Hint-K）。Hint-K算法充分運用了升級隱示和降級隱示的歷史信息，并可利用K步數(shù)據(jù)隱示值來簡單判斷一個數(shù)據(jù)塊的活躍程度。并給出K在不同情況下Hint-K算法的實例分析。最后設(shè)計并實現(xiàn)了原型系統(tǒng)――熱點屬性管理的存儲系統(tǒng)HASS，通過實施基于熱點的動態(tài)數(shù)據(jù)組織和服務(wù)質(zhì)量保證（HO）、對象熱點預(yù)測（HP）和單級Cache策略（HC），系統(tǒng)的性能提高了62％并降低了25％的I/O操作。在不同負載下的多級Cache仿真測試