面向負(fù)載均衡的重復(fù)數(shù)據(jù)刪除研究與優(yōu)化.pdf

1、大數(shù)據(jù)時(shí)代的到來(lái)，一方面我們需要安全有效地存儲(chǔ)海量數(shù)據(jù)信息，存儲(chǔ)系統(tǒng)的容量亟待增大；另一方面大數(shù)據(jù)量也對(duì)數(shù)據(jù)處理能力提出了新的要求，存儲(chǔ)系統(tǒng)的性能亟需提升。重復(fù)數(shù)據(jù)刪除技術(shù)為應(yīng)對(duì)大數(shù)據(jù)環(huán)境下，存儲(chǔ)容量的增長(zhǎng)遠(yuǎn)落后于數(shù)據(jù)爆炸式增長(zhǎng)的現(xiàn)狀，提供了一種有效的數(shù)據(jù)存儲(chǔ)手段，但是輪循式的數(shù)據(jù)分配方式并不能有效地利用節(jié)點(diǎn)間的并行性，導(dǎo)致負(fù)載不均衡的問(wèn)題。本文針對(duì)該問(wèn)題，通過(guò)改進(jìn)和優(yōu)化數(shù)據(jù)分配策略，以提升系統(tǒng)的吞吐率和讀性能。論文的主要研究?jī)?nèi)容和創(chuàng)新

2、點(diǎn)包含以下幾個(gè)方面：
　　首先，針對(duì)重復(fù)數(shù)據(jù)刪除技術(shù)進(jìn)行了系統(tǒng)全面的研究。先從基本原理出發(fā)詳細(xì)介紹重復(fù)數(shù)據(jù)刪除的具體過(guò)程，隨后對(duì)重復(fù)數(shù)據(jù)刪除的分類進(jìn)行了說(shuō)明，然后重點(diǎn)闡述了重復(fù)數(shù)據(jù)刪除所涉及的重要技術(shù)，包括數(shù)據(jù)分塊、性能優(yōu)化、可靠性和可擴(kuò)展性等方面，并結(jié)合現(xiàn)有的實(shí)例進(jìn)行了分析，最后總結(jié)當(dāng)前面臨的問(wèn)題和挑戰(zhàn)，并提出本文將要改進(jìn)和優(yōu)化的方面。
　　其次，針對(duì)當(dāng)前重復(fù)數(shù)據(jù)刪除后，數(shù)據(jù)塊順序放置不能有效地利用節(jié)點(diǎn)間的并發(fā)性而導(dǎo)致讀吞

3、吐率和讀性能不高的問(wèn)題進(jìn)行了改進(jìn)和優(yōu)化。對(duì)于分布式的存儲(chǔ)節(jié)點(diǎn)，設(shè)計(jì)并實(shí)現(xiàn)了一種基于文件感知的重復(fù)數(shù)據(jù)刪除策略(File-Aware De-duplication，F(xiàn)A-Dedupe），該策略在保持系統(tǒng)重刪效率的前提下，以數(shù)據(jù)塊互斥為原則，盡可能地均勻分布數(shù)據(jù)塊，充分利用節(jié)點(diǎn)間的并發(fā)性提升訪問(wèn)效率。
　　再次，針對(duì)文件感知分配策略產(chǎn)生的存儲(chǔ)空洞問(wèn)題進(jìn)行了優(yōu)化。在綜合考慮感知策略的有效性、存儲(chǔ)效率和性能提升等方面后，設(shè)計(jì)了兩種空洞減少

4、機(jī)制，一種“緩和”的方式在保證感知策略有效的前提下，在數(shù)據(jù)存放的過(guò)程中緩慢的調(diào)整分配方案減少空洞，該方法兼顧文件感知策略的有效性但是效率較低；另一種是“暴力”的方式，通過(guò)檢查閾值，當(dāng)超過(guò)時(shí)就忽略文件感知策略直接填充空洞最多的節(jié)點(diǎn)，該方法效率較高但是對(duì)性能帶來(lái)一定的損失。
　　最后，分別實(shí)現(xiàn)了傳統(tǒng)的B-Dedupe和改進(jìn)的FA-Dedupe的模擬程序，并對(duì)優(yōu)化前后重刪率和讀寫(xiě)性能進(jìn)行了測(cè)試。實(shí)驗(yàn)結(jié)果表明本文設(shè)計(jì)的策略在保證系統(tǒng)重刪效