廣域網(wǎng)存儲(chǔ)加速系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，越來(lái)越多的應(yīng)用需要通過(guò)網(wǎng)絡(luò)在異地存儲(chǔ)備份數(shù)據(jù)，但是，由于廣域網(wǎng)具有高帶寬高延遲的特性，而通用的傳輸協(xié)議沒(méi)有針對(duì)該特性進(jìn)行優(yōu)化，無(wú)法完全適應(yīng)廣域網(wǎng)數(shù)據(jù)傳輸?shù)男枨?。此外，備份?shù)據(jù)相鄰備份周期的版本通常具有高度相似性，如何高效檢測(cè)出相同部分，僅傳輸差異部分，從而縮短備份窗口和節(jié)省網(wǎng)絡(luò)流量，是一個(gè)重要問(wèn)題。最后，企業(yè)應(yīng)用中，需要將系統(tǒng)設(shè)置在網(wǎng)關(guān)節(jié)點(diǎn)中，如何對(duì)通用網(wǎng)絡(luò)數(shù)據(jù)流進(jìn)行傳輸優(yōu)化，也是一個(gè)重要的問(wèn)題。
　　本畢設(shè)從七

2、層網(wǎng)絡(luò)模型角度入手，在表示層和傳輸層對(duì)以上三個(gè)問(wèn)題進(jìn)行了數(shù)據(jù)傳輸?shù)募铀?。畢設(shè)自上而下分為三個(gè)改進(jìn)部分，分別是表示層的重復(fù)數(shù)據(jù)刪除模塊，亂序流解壓縮模塊，和傳輸層的UDP傳輸優(yōu)化模塊。
　　在重復(fù)數(shù)據(jù)刪除模塊中，系統(tǒng)借鑒了傳統(tǒng)字節(jié)緩存算法中使用rabin滑動(dòng)窗口算法對(duì)數(shù)據(jù)流進(jìn)行不定長(zhǎng)分塊的方案，同時(shí)，系統(tǒng)基于網(wǎng)絡(luò)異地備份應(yīng)用中兩個(gè)相鄰備份窗口的相同文件通常只有細(xì)微改變的特征，提出將rabin指紋分塊檢測(cè)出的多個(gè)連續(xù)重復(fù)指紋塊用一個(gè)二

3、級(jí)指紋塊代替的算法，進(jìn)一步縮減網(wǎng)絡(luò)流量。
　　在亂序流解壓縮模塊，由于底層采用亂序提交數(shù)據(jù)包的方式，無(wú)法采用傳統(tǒng)流壓縮中對(duì)前向所有數(shù)據(jù)流建立數(shù)據(jù)字典的方式，畢設(shè)基于越早傳輸?shù)臄?shù)據(jù)越有可能已經(jīng)收到的觀測(cè)，采用對(duì)前向第m個(gè)數(shù)據(jù)包之前的連續(xù)n個(gè)數(shù)據(jù)包建立數(shù)據(jù)字典的方式，保證了解壓縮的實(shí)時(shí)性，避免了該模塊由于等待所有前向數(shù)據(jù)到來(lái)成為系統(tǒng)的瓶頸。
　　在UDP傳輸優(yōu)化模塊，系統(tǒng)摒棄了傳統(tǒng)的TCP傳輸協(xié)議，而采用了UDP協(xié)議，從而避免了