云存儲系統(tǒng)中基于溯源關(guān)系的文件查詢與管理方法研究.pdf

1、隨著備份、歸檔、視頻等網(wǎng)絡(luò)服務(wù)的廣泛應(yīng)用，云存儲系統(tǒng)的規(guī)模越來越大，給文件訪問的性能帶來挑戰(zhàn)。用戶在訪問文件之前需依靠文件查詢來確定待訪問的文件及其地址，因此需要提高文件查詢的性能。而現(xiàn)有的元數(shù)據(jù)查詢方法無法有效地支持文件的高性能查詢，因此需要挖掘更多的文件相關(guān)性來提高元數(shù)據(jù)查詢的性能。云存儲系統(tǒng)中，大部分的數(shù)據(jù)都處于冷數(shù)據(jù)狀態(tài)，被存儲在價(jià)格便宜、性能較差的設(shè)備上。有些應(yīng)用需要保證高效的冷數(shù)據(jù)訪問性能，因此需要通過分析冷數(shù)據(jù)文件在文件訪

2、問以及文件屬性的相關(guān)性來提高文件管理的性能，建立一個(gè)高效的冷數(shù)據(jù)的分布及其元數(shù)據(jù)的索引結(jié)構(gòu)?，F(xiàn)在，大數(shù)據(jù)存儲及其網(wǎng)絡(luò)傳輸中視頻已經(jīng)占了65％，這些視頻中大量的近似重復(fù)視頻帶來了巨大的傳輸和存儲開銷。針對這種特殊文件的應(yīng)用和管理，需要通過挖掘這些視頻之間的關(guān)系來提高視頻的存儲空間有效性以及訪問速度。因此，挖掘文件之間的相關(guān)性對于提高云存儲系統(tǒng)中文件訪問性能具有重要作用。
　　在云存儲系統(tǒng)中，具有溯源關(guān)系的文件之間具有數(shù)據(jù)相關(guān)性，這種

3、數(shù)據(jù)相關(guān)性導(dǎo)致這些文件具有相同或相似的內(nèi)容，因此從溯源數(shù)據(jù)中可以挖掘到具有溯源關(guān)系的文件相關(guān)性，包括很強(qiáng)的內(nèi)容相似性、屬性相似性和讀寫特征的相似性以及較弱的內(nèi)容差異性等。同時(shí)，文件的溯源數(shù)據(jù)記錄了影響這個(gè)文件最終狀態(tài)的所有進(jìn)程和文件，通過對溯源數(shù)據(jù)的分析不僅在空間維度上可挖掘到更多文件的相關(guān)性，而且在時(shí)間維度上可以得到文件之間的相關(guān)性的變化，從而可提高文件相關(guān)性度量的精確度。因此，圍繞加快文件訪問的速度這一目標(biāo)，本文利用文件相關(guān)特性提出

4、了三種優(yōu)化方法。
　　(1)針對云存儲系統(tǒng)規(guī)模的擴(kuò)大會(huì)降低文件訪問所必需的元數(shù)據(jù)查詢操作的性能的問題，提出了一種挖掘具有溯源關(guān)系的文件之間的內(nèi)容相似性的元數(shù)據(jù)查詢方法PROMES，通過在查詢流程中增加關(guān)系圖查詢減少元數(shù)據(jù)索引樹中的查詢范圍而加快了查詢速度，通過引入關(guān)系的時(shí)效性和文件的權(quán)重兩個(gè)參數(shù)提高了關(guān)系圖中文件相關(guān)性度量的準(zhǔn)確性而增加了查詢準(zhǔn)確率。PROMES中的元數(shù)據(jù)查詢分為三步：通過一個(gè)相關(guān)性感知的元數(shù)據(jù)索引樹來定位到一些文

5、件的元數(shù)據(jù)作為種子。絕大部分的種子滿足查詢條件，然后使用種子在根據(jù)溯源關(guān)系所生成的關(guān)系圖中查詢剩余的查詢結(jié)果，最后進(jìn)行排序并精簡以得到最終的查詢結(jié)果。因?yàn)橛伤菰搓P(guān)系生成的關(guān)系圖具有文件相關(guān)性緊密、輕量索引的特點(diǎn)，所以PROMES具有顯著的高查詢準(zhǔn)確率和低延遲的優(yōu)點(diǎn)。實(shí)驗(yàn)測試表明：PROMES比現(xiàn)在最新的元數(shù)據(jù)查詢方法減小了1到2個(gè)數(shù)量級的查詢時(shí)間，并具有更高的查詢準(zhǔn)確率。
　　(2)針對云存儲服務(wù)供應(yīng)商通常在低功耗的設(shè)備上存儲冷數(shù)

6、據(jù)文件及其元數(shù)據(jù)而導(dǎo)致文件訪問速度受限的問題，提出了一種基于溯源關(guān)系中文件的屬性和訪問特征相似性的冷數(shù)據(jù)分布及其元數(shù)據(jù)索引機(jī)制，通過挖掘具有溯源關(guān)系的文件之間的訪問特征相似性調(diào)整文件的分布狀態(tài)減少訪問冷數(shù)據(jù)文件的等待時(shí)間并節(jié)省能源，通過挖掘具有溯源關(guān)系的文件之間的元數(shù)據(jù)相似性對文件元數(shù)據(jù)進(jìn)行邏輯分組減少冷數(shù)據(jù)文件的元數(shù)據(jù)查詢的延時(shí)。這個(gè)機(jī)制包含兩個(gè)方法：基于溯源關(guān)系中文件的訪問特征相似性的冷數(shù)據(jù)重分布方法Prodi和基于溯源關(guān)系中文件的

7、屬性特征相似性的冷數(shù)據(jù)元數(shù)據(jù)索引方法P-index。通過測試表明Prodi節(jié)省了25%能源，而P-index的性能比現(xiàn)有的元數(shù)據(jù)索引結(jié)構(gòu)減少了1到2個(gè)數(shù)量級的查詢時(shí)間開銷。
　　(3)針對云存儲系統(tǒng)中大量的近似重復(fù)視頻降低了用戶的體驗(yàn)質(zhì)量，并消耗了服務(wù)供應(yīng)商的很多資源的問題，提出了一種基于溯源關(guān)系中文件的內(nèi)容差異性的視頻壓縮與傳輸機(jī)制Provis，利用視頻的溯源數(shù)據(jù)能夠支持視頻重建和記錄了具有溯源關(guān)系的視頻之間內(nèi)容差異的溯源數(shù)據(jù)的

8、大小遠(yuǎn)小于視頻文件的特性，通過保存視頻的溯源數(shù)據(jù)來替代保存視頻的方法壓縮近似視頻而提高存儲系統(tǒng)的空間有效性，通過上傳視頻的溯源數(shù)據(jù)后再在云端重建視頻的方法來替代直接上傳視頻而加快了視頻上傳的速度并減少上傳的網(wǎng)絡(luò)開銷。通過兩個(gè)視頻數(shù)據(jù)集的測試比較了Provis與其它現(xiàn)存的視頻壓縮技術(shù)，結(jié)果顯示Provis能夠顯著節(jié)省空間并降低視頻上傳的網(wǎng)絡(luò)開銷，溯源圖的存儲開銷和視頻重建的時(shí)延在用戶可接受范圍內(nèi)。
　　綜上所述，本文主要解決云存儲系