基于Hadoop的文件同步存儲系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、云計算時代，隨著網(wǎng)絡(luò)終端設(shè)備的廣泛使用以及互聯(lián)網(wǎng)技術(shù)的進一步普及，數(shù)據(jù)存儲與備份技術(shù)已經(jīng)與個人生活及組織的運作息息相關(guān)，企業(yè)與個人均面臨著海量數(shù)據(jù)的管理難題。云存儲及其相關(guān)技術(shù)的發(fā)展給數(shù)據(jù)存儲領(lǐng)域帶來了革新。基于云存儲的在線存儲系統(tǒng)能夠向用戶提供永久的，存儲空間可擴展的，便捷的，價格低廉的數(shù)據(jù)存儲與備份服務(wù)。當前國內(nèi)比較成熟的存儲服務(wù)產(chǎn)品有金山快盤、華為網(wǎng)盤等。它們都提供了穩(wěn)定的數(shù)據(jù)存儲、文件同步功能，但也存在一些問題。首先，客戶端提供

2、的文件系統(tǒng)監(jiān)控功能不夠完善；其次，文件的數(shù)據(jù)同步效率在某些情況下較低；此外，有些產(chǎn)品沒有提供數(shù)據(jù)的安全傳輸功能，也沒有提供對多種同步事件的分類數(shù)據(jù)傳輸功能；最后，現(xiàn)有產(chǎn)品尚未提供客戶端與服務(wù)器數(shù)據(jù)的加密存儲功能。支撐數(shù)據(jù)存儲的云存儲平臺的優(yōu)化也是提供基于云存儲的數(shù)據(jù)同步存儲服務(wù)廠商應(yīng)該努力解決的問題。
　　本文從在線同步存儲服務(wù)使用者的角度出發(fā)，總結(jié)了當前同步存儲服務(wù)產(chǎn)品的主要功能以及存在的一些問題，從需求與問題出發(fā)，深入研究了實

3、現(xiàn)基于云存儲的文件同步存儲系統(tǒng)的關(guān)鍵技術(shù)，設(shè)計并實現(xiàn)了一種基于hadoop搭建的云存儲后臺，使用了 Rsync同步算法的文件同步存儲系統(tǒng)。論文的主要工作包括：分析國內(nèi)外同類產(chǎn)品的優(yōu)缺點，明確系統(tǒng)用戶的需求；利用開源的jpathwatch類庫實時監(jiān)控系統(tǒng)客戶端虛擬磁盤的更新變化，實現(xiàn)了不同類型同步事件的實時觸發(fā)和通知功能，添加了對文件移動和文件重命名的監(jiān)控；通過對同步事件的分類，實現(xiàn)了不同事件的分類化處理，特別是文件內(nèi)容更新和續(xù)傳事件，設(shè)