針對文件的在線去重系統(tǒng)設(shè)計與實現(xiàn).pdf

1、互聯(lián)網(wǎng)的高速發(fā)展導(dǎo)致了信息的爆炸式增長，如今的互聯(lián)網(wǎng)每天產(chǎn)生的信息總量達到EB級，如何存儲以及管理海量數(shù)據(jù)對于個人和企業(yè)來說都是重大挑戰(zhàn)。雖然目前的存儲系統(tǒng)多種多樣，存儲能力也是日新月異，但將所有信息不加篩選的存儲顯然不是一個明智的選擇，重復(fù)數(shù)據(jù)刪除技術(shù)作為一種有效解決方案自然進入了人們的視野。目前，去重技術(shù)在備份系統(tǒng)中已經(jīng)有了很多的應(yīng)用，相關(guān)技術(shù)已日臻完善，但在在線系統(tǒng)中卻少有涉及，由于在線系統(tǒng)的特殊性，特別是對實時性的要求，使得在線

2、系統(tǒng)中的去重技術(shù)需要解決更多的問題。
　　針對在線存儲系統(tǒng)數(shù)據(jù)去重的需求，設(shè)計實現(xiàn)了一個適用于各種主流文件系統(tǒng)的去重中間件Pbfs，Pbfs針對在線存儲系統(tǒng)的特點采用了一些特別的解決方案。首先是提出了文件分類處理的思想，不同種類的文件采用最適合它的處理方式進行去重處理；其次是改進相似性判定算法，提高相似數(shù)據(jù)識別的精確度；最后是元數(shù)據(jù)類動態(tài)化，元數(shù)據(jù)是去重系統(tǒng)中重要的部分，動態(tài)化能夠提升去重率。Pbfs中所提出的這些方案最大程度上降