面向移動(dòng)終端的數(shù)據(jù)去重研究.pdf

1、在信息社會(huì)高速發(fā)展的時(shí)期，移動(dòng)互聯(lián)網(wǎng)快速發(fā)展，加上個(gè)人云存儲(chǔ)等以個(gè)人云為基礎(chǔ)的服務(wù)快速興起，推動(dòng)了數(shù)據(jù)云同步和云存儲(chǔ)業(yè)務(wù)的增長(zhǎng)，使得網(wǎng)絡(luò)數(shù)據(jù)信息量呈現(xiàn)爆炸式增長(zhǎng)形勢(shì)，給網(wǎng)絡(luò)存儲(chǔ)空間和網(wǎng)絡(luò)帶寬帶來(lái)了巨大的壓力，尤其是在移動(dòng)互聯(lián)網(wǎng)領(lǐng)域，問(wèn)題則更為明顯。眾所周知，移動(dòng)終端存儲(chǔ)空間相對(duì)較小，并且移動(dòng)互聯(lián)網(wǎng)的接入網(wǎng)絡(luò)如蜂窩網(wǎng)的成本相對(duì)較高，所以，面向移動(dòng)終端的數(shù)據(jù)云服務(wù)對(duì)存儲(chǔ)空間和網(wǎng)絡(luò)帶寬有著更高的要求，如何減少冗余數(shù)據(jù)的傳輸和存儲(chǔ)就顯得至關(guān)重要

2、。
　　重復(fù)數(shù)據(jù)刪除技術(shù)(DataDe-duplicationTechnology)通過(guò)刪除數(shù)據(jù)存儲(chǔ)系統(tǒng)中相同的文件或相同的文件數(shù)據(jù)塊，只保留重復(fù)文件或重復(fù)數(shù)據(jù)塊的一個(gè)備份，以達(dá)到消除數(shù)據(jù)冗余并縮減網(wǎng)絡(luò)存儲(chǔ)空間的目的，同時(shí)提升了網(wǎng)絡(luò)帶寬的利用率。根據(jù)文件數(shù)據(jù)去重的粒度重復(fù)數(shù)據(jù)刪除技術(shù)可分為文件級(jí)別的重復(fù)數(shù)據(jù)刪除技術(shù)、數(shù)據(jù)塊級(jí)別的重復(fù)數(shù)據(jù)刪除技術(shù)和數(shù)據(jù)對(duì)象級(jí)別的重復(fù)數(shù)據(jù)刪除技術(shù)。目前重復(fù)數(shù)據(jù)刪除技術(shù)已經(jīng)應(yīng)用于數(shù)據(jù)備份和存儲(chǔ)系統(tǒng)中，大

3、幅減少了數(shù)據(jù)冗余，提高了存儲(chǔ)空間的有效利用率。但是，由于移動(dòng)互聯(lián)網(wǎng)接入網(wǎng)絡(luò)和移動(dòng)終端內(nèi)存小等一系列局限性，重復(fù)數(shù)據(jù)刪除技術(shù)并沒(méi)有在移動(dòng)互聯(lián)網(wǎng)領(lǐng)域得到廣泛應(yīng)用。雖然在移動(dòng)互聯(lián)網(wǎng)領(lǐng)域也出現(xiàn)了部分應(yīng)用重復(fù)數(shù)據(jù)刪除技術(shù)的實(shí)例，但是該類應(yīng)用仍然有很多不足之處可以得到改進(jìn)。比如以Dropbox為代表的基于個(gè)人云服務(wù)的應(yīng)用采用了以定長(zhǎng)切分算法(FSP)為基礎(chǔ)的數(shù)據(jù)塊級(jí)別的重復(fù)數(shù)據(jù)刪除算法，此方法雖然簡(jiǎn)單有效，但是對(duì)于增加數(shù)據(jù)和刪除數(shù)據(jù)的操作敏感性太高

4、，從而影響了數(shù)據(jù)去重率。
　　本文提出將多種重復(fù)數(shù)據(jù)刪除技術(shù)應(yīng)用于移動(dòng)互聯(lián)網(wǎng)領(lǐng)域，以數(shù)據(jù)去重率和移動(dòng)終端設(shè)備性能損耗兩方面作為主要衡量標(biāo)準(zhǔn)，面向移動(dòng)互聯(lián)平臺(tái)對(duì)重復(fù)數(shù)據(jù)刪除算法進(jìn)行深入的研究和優(yōu)化。主要完成了以下兩方面工作:第一，結(jié)合移動(dòng)互聯(lián)網(wǎng)在移動(dòng)終端性能和網(wǎng)絡(luò)接入等多方面的限制，綜合數(shù)據(jù)去重率和機(jī)器開(kāi)銷兩方面因素，選取適用于移動(dòng)互聯(lián)網(wǎng)的最優(yōu)重復(fù)數(shù)據(jù)刪除算法進(jìn)行深入研究和優(yōu)化;第二，采集多種類型的文件作為樣本，對(duì)移動(dòng)互聯(lián)平臺(tái)的最優(yōu)