云計算環(huán)境分布式存儲關鍵技術的研究.pdf

1、新一代IT技術發(fā)展浪潮已經來到了我們身邊。云計算及其相關技術作為這股浪潮的核心組成部分，正潛移默化地影響著我們的生產和生活方式。分布式存儲技術作為構建云計算基礎設施的關鍵技術，面臨著全新挑戰(zhàn)。如何在超大規(guī)模、海量數(shù)據(jù)、高可用性、高可擴展性的云計算環(huán)境下，構建高性能、高可靠性的大規(guī)模分布式存儲系統(tǒng)，受到了工業(yè)界和學術界的廣泛關注。
　　基于對現(xiàn)有云計算以及分布式存儲相關技術發(fā)展現(xiàn)狀的理解和認識，本文對相關研究成果進行了全面、深入、具

2、體的分析和探討，并且就云計算環(huán)境下分布式存儲關鍵技術開展了細致入微的研究工作，取得了部分研究成果和創(chuàng)新。
　　本文的研究成果和創(chuàng)新包括：
　　1、提出了一種新的基于數(shù)據(jù)塊合并的重復數(shù)據(jù)刪除算法?，F(xiàn)有的重復數(shù)據(jù)刪除算法著重考慮數(shù)據(jù)塊劃分粒度、指紋計算、索引查詢及更新優(yōu)化等問題，沒有考慮子數(shù)據(jù)塊合并引入的額外開銷。本文提出的新算法在子數(shù)據(jù)塊的合并過程中，同時考慮最小子數(shù)據(jù)塊數(shù)目和最大子數(shù)據(jù)塊數(shù)目，并且通過動態(tài)調整子數(shù)據(jù)塊合并的數(shù)

3、目，從而減少了算法中子數(shù)據(jù)塊的合并開銷，降低了重復數(shù)據(jù)刪除算法的時間復雜度，提高了存儲空間的利用效率。
　　2、設計了一種基于金剛石拓撲結構的消息傳播策略?，F(xiàn)有的消息傳播策略，或者注重消息傳播的高效性，或者在部分節(jié)點失效時，仍能保證其它正常節(jié)點接收到消息。本文提出的消息傳播策略能夠在兩者之間取得較好的均衡，既可保證消息快速傳播到系統(tǒng)中正常工作的節(jié)點，又能利用金剛石拓撲結構中層級節(jié)點之間的冗余連接，確保部分節(jié)點失效時其余節(jié)點仍然能夠

4、收到消息。
　　3、實現(xiàn)了一種基于免疫優(yōu)化策略的副本放置算法?，F(xiàn)有的副本放置算法，僅僅考慮部分影響因素，如網(wǎng)絡帶寬使用率、副本放置節(jié)點與用戶之間的距離，用戶訪問副本代價等。本文引入了免疫系統(tǒng)核心思想，通過免疫優(yōu)化算法的克隆選擇和免疫記憶過程，計算分布式存儲系統(tǒng)中所有節(jié)點的親和度，然后根據(jù)親和度結果選擇合適的節(jié)點用于放置數(shù)據(jù)副本。該副本放置算法收斂速度快，并且能夠降低用戶訪問副本的響應時間。
　　4、提出了一種基于代理的一致性

5、算法A*Raft。Raft是一種針對經典Paxos算法進行優(yōu)化的一致性算法，但是該算法存在著領導者節(jié)點單點失效、節(jié)點日志一致化過程效率低的問題。本文提出的A*Raft算法，通過對節(jié)點日志一致化過程開銷進行定義，選出合適的代理節(jié)點，用于分擔領導者節(jié)點在日志一致化過程中的開銷，均衡領導者節(jié)點負載。此外，A*Raft算法能夠減少領導者節(jié)點的選舉次數(shù)，減少算法的時間復雜度。
　　綜上所述，本文從重復數(shù)據(jù)刪除技術、消息傳播策略、副本放置策略