大小文件跨網(wǎng)絡(luò)集群快速遷移協(xié)議.pdf

1、近幾年來，計(jì)算機(jī)科學(xué)技術(shù)和網(wǎng)絡(luò)技術(shù)快速發(fā)展，產(chǎn)生了大量的數(shù)據(jù)，并且產(chǎn)生數(shù)據(jù)的速度也在快速增長，經(jīng)過長年積累，系統(tǒng)后臺(tái)留下了海量數(shù)據(jù)。這對傳統(tǒng)的數(shù)據(jù)處理形式提出了挑戰(zhàn)，數(shù)據(jù)的多節(jié)點(diǎn)復(fù)制同步和遷移成為了一個(gè)重要的問題。由于網(wǎng)絡(luò)的異構(gòu)性和網(wǎng)絡(luò)相關(guān)的應(yīng)用多樣性的特點(diǎn)，最終在硬盤上形成的數(shù)據(jù)文件數(shù)量巨大，這些數(shù)據(jù)文件進(jìn)行同步復(fù)制和遷移到不同的處理節(jié)點(diǎn)上的效率在很大程度上限制了數(shù)據(jù)處理任務(wù)的總體進(jìn)度。
　　現(xiàn)有的文件數(shù)據(jù)遷移處理方法一般是通過

2、差異傳輸方式減少數(shù)據(jù)量，通過壓縮技術(shù)來減少傳輸量，通過一些加密措施來保證傳輸安全性，并且一般通過B/S的結(jié)構(gòu)來實(shí)現(xiàn)文件傳輸服務(wù)。傳統(tǒng)的處理方式缺少有效的針對傳輸過程的速度優(yōu)化方式，特別是在最終的待傳輸數(shù)據(jù)的處理上，缺少高效的大規(guī)模傳播策略和措施，本協(xié)議的設(shè)計(jì)將針對最終數(shù)據(jù)的傳輸過程進(jìn)行改進(jìn)和優(yōu)化，通過分布式自主協(xié)商的算法和流程設(shè)計(jì)，實(shí)現(xiàn)動(dòng)態(tài)源節(jié)點(diǎn)擴(kuò)張機(jī)制，通過自動(dòng)協(xié)商選舉機(jī)制實(shí)現(xiàn)區(qū)域自治管理，通過集群代理角色機(jī)制實(shí)現(xiàn)數(shù)據(jù)的跨公網(wǎng)多集群間

3、進(jìn)行同步和遷移。這些過程實(shí)現(xiàn)大量的不同類型的數(shù)據(jù)文件在多個(gè)集群之間進(jìn)行快速同步和遷移，提高各節(jié)點(diǎn)上的帶寬利用率。由于存在分布式協(xié)商，會(huì)有的額外開銷的代價(jià)，但是當(dāng)待傳輸?shù)臄?shù)據(jù)量巨大，以及待傳輸節(jié)點(diǎn)的規(guī)模巨大時(shí)，能夠很好的表現(xiàn)出該協(xié)議在性能和效率上有較大改進(jìn)和提升。
　　該課題的研究內(nèi)容是在常見分布式文件系統(tǒng)理論基礎(chǔ)上，研究和設(shè)計(jì)新的分布式文件傳輸框架和協(xié)議以及協(xié)議中的分布式協(xié)商和傳輸算法。使之在復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)下自適應(yīng)和彈性擴(kuò)張，實(shí)現(xiàn)