基于HDFS的時空數(shù)據(jù)共享與查詢隱私保護的研究與實現(xiàn).pdf

1、伴隨著科技的發(fā)展，社會生活的信息化程度不斷提高，在每天的生產(chǎn)生活中都會產(chǎn)生大量的數(shù)據(jù)，如何有效地存儲并查詢這些數(shù)據(jù)對未來的生產(chǎn)生活有重要意義。近年來云計算與云存儲的興起為海量數(shù)據(jù)的存儲與查詢提供了更有效地解決方法，越來越多的應(yīng)用開始向云端遷移。本文依托于“海洋環(huán)境信息計算與服務(wù)體系框架”的國家海洋公益項目。針對國家海洋局中海量時空數(shù)據(jù)存儲分散與管理復(fù)雜的特點，本文研究實現(xiàn)了基于HDFS的時空數(shù)據(jù)共享系統(tǒng);針對保護用戶時空信息查詢隱私的研

2、究目標，本文實現(xiàn)了時空數(shù)據(jù)的查詢隱私保護算法。
　　基于HDFS的分布式文件共享系統(tǒng)的框架分為三層:基礎(chǔ)層、接口層、服務(wù)層。基礎(chǔ)層使用Apache MINA、Java、Mysql、HDFS實現(xiàn)，四者分別負責(zé)消息通信、數(shù)據(jù)傳輸、用戶信息存儲、數(shù)據(jù)存儲功能。接口層負責(zé)管理基礎(chǔ)層資源并向服務(wù)層提供服務(wù)接口，該層分為數(shù)據(jù)傳輸模塊、用戶管理模塊、文件管理模塊三個模塊。服務(wù)層負責(zé)系統(tǒng)的業(yè)務(wù)邏輯處理，該層解析用戶消息并調(diào)用接口層模塊提供的服務(wù)執(zhí)

3、行用戶請求。本系統(tǒng)為每個用戶指定存儲空間，多個用戶可以共用同一存儲空間，同時共享里面的文件。
　　海洋局存儲著海量時空信息，現(xiàn)有的隱私查詢算法在進行查詢時效率較低，針對這種不足本文提出了空間最近鄰與空間范圍隱私查詢算法。本文在CPIR-V算法的基礎(chǔ)上提出了SCPIR-V算法，該算法通過尋找潛在最近鄰點集的關(guān)系來壓縮計算矩陣，從而減少查詢時的計算代價與通信代價，該算法可以在服務(wù)端無法獲取查詢位置的前提下向用戶返回包含最近點的空間信息

4、。通過對比試驗可以看出SCPIR-V算法在高斯分布與真實數(shù)據(jù)下可以提高查詢性能，在均勻數(shù)據(jù)下算法查詢性能在網(wǎng)格劃分較多時較好。本文將CPIR算法應(yīng)用到空間范圍查詢中，并在樸素的空間范圍查詢算法的基礎(chǔ)上提出了基于分組的空間范圍查詢算法。實驗結(jié)果表明基于分組的查詢算法的通信代價沒有顯著增長，而服務(wù)端與客戶端計算性能優(yōu)于樸素查詢算法。
　　海洋數(shù)據(jù)中的時間信息會隨著數(shù)據(jù)的采集不斷的增長，現(xiàn)有的隱私數(shù)據(jù)查詢技術(shù)無法滿足用戶需求，為此本文提

5、出了基于CPIR的時間信息隱私查詢算法與時間范圍隱私查詢算法。本文分析了時間信息的基本特征，通過改進樸素時間插入算法提出了基于動態(tài)調(diào)整的時間插入算法與基于動態(tài)哈希的時間插入算法。算法通過設(shè)置數(shù)據(jù)集的數(shù)目與排列方式使服務(wù)端無法判斷查詢內(nèi)容與查詢結(jié)果。最后本文將三種算法應(yīng)用到時間范圍查詢中。本文對三種算法進行了實驗，當(dāng)對單一時刻進行查詢時，動態(tài)哈希算法效率較高;進行范圍查詢時，在客戶端計算時間與通信代價并不顯著增加的情況下，動態(tài)哈希算法服務(wù)