基于MapReduce的空間數(shù)據(jù)RkNN算法研究.pdf

1、近幾年，隨著移動互聯(lián)網(wǎng)技術(shù)和地理信息技術(shù)的發(fā)展，基于位置服務(wù)應(yīng)用逐漸興起，從而使得空間定位信息的數(shù)據(jù)量呈現(xiàn)以指數(shù)級增長。而在地理位置信息相關(guān)的空間數(shù)據(jù)查詢中，RkNN（Reverse k Nearest Neighbor，反最近鄰）查詢問題是通過返回所給查詢點周圍的對象中，以該查詢點作為其kNN（k Nearest Neighbor，最近鄰）的所有對象的集合，其在多種數(shù)據(jù)挖掘應(yīng)用中備受關(guān)注。同樣傳統(tǒng)的RkNN方法也已難以滿足迅猛增長的數(shù)

2、據(jù)速度以及用戶們的大規(guī)模實時查詢要求。
　　本文將傳統(tǒng)的RkNN算法與MapReduce分布式框架相結(jié)合，分析如何解決大規(guī)?？臻g數(shù)據(jù)的分布式RkNN查詢問題。MapReduce是2004年由谷歌公司提出的一個用來進行并行處理和生成大數(shù)據(jù)集的模型，而MapReduce框架作為分布式計算中的典型的離線計算框架，很難實現(xiàn)實時性計算效果。因此，本文采用了離線和在線相結(jié)合的系統(tǒng)模型，利用MapReduce框架離線完成倒排網(wǎng)格索引的創(chuàng)建和更新

3、工作，同時結(jié)合在線計算方法返回RkNN查詢結(jié)果。文中首先提出基于大規(guī)模空間數(shù)據(jù)集上的倒排網(wǎng)格索引的暴力RkNN查詢算法——Basic-MRkNN算法;接下來提出對此算法的優(yōu)化算法——延遲Lazy-MRkNN查詢算法和增量式Eager-MRkNN查詢算法。為了減少網(wǎng)絡(luò)和磁盤I/O開銷，在過濾過程中利用了一些剪枝規(guī)則來提高本文提出的分布式算法性能。此外，通過在32個節(jié)點的集群上對模擬數(shù)據(jù)集和真實數(shù)據(jù)集的大量實驗表明，本文提出的基本算法在與泰