基于Map--Reduce的多表連接框架的研究與實(shí)現(xiàn).pdf

1、最近幾年，隨著數(shù)據(jù)信息量的激增，大數(shù)據(jù)概念興起。大數(shù)據(jù)的處理分析受到了國(guó)內(nèi)外各個(gè)研究領(lǐng)域的廣泛關(guān)注。由于谷歌的成功案例，使得MapReduce框架成為了目前研究和使用最廣泛的大數(shù)據(jù)處理框架，其中Hadoop MapReduce作為谷歌MapReduce框架的開(kāi)源社區(qū)版，成為了最熱門(mén)的開(kāi)源項(xiàng)目之一。MapReduce框架采用將大數(shù)據(jù)集分片并行處理的思想，并向用戶(hù)屏蔽了并行程序的編程細(xì)節(jié)，以及程序并行處理時(shí)的協(xié)調(diào)機(jī)制和容錯(cuò)問(wèn)題。
　　

2、作為信息分析處理的基本操作，連接操作一直是MapReduce框架下的研究熱點(diǎn)，但由于MapReduce框架對(duì)連接操作的支持度不高，所以在連接操作中存在著很多問(wèn)題。本文針對(duì)MapReduce框架下連接操作中產(chǎn)生的大量中間冗余數(shù)據(jù)和多表連接過(guò)程中多任務(wù)間協(xié)調(diào)問(wèn)題，提出了Share-Coordinate-MapReduce框架。
　　首先，本文通過(guò)分析多表連接中冗余數(shù)據(jù)產(chǎn)生的原因，提出了基于Bloom Filter共享信息框架Share

3、-MapReduce，該框架通過(guò)順次處理連接數(shù)據(jù)集，共享連接屬性，從而實(shí)現(xiàn)對(duì)中間冗余的元組進(jìn)行過(guò)濾，減少網(wǎng)絡(luò)數(shù)據(jù)傳輸，降低I/O代價(jià);對(duì)于多表連接過(guò)程中多任務(wù)協(xié)調(diào)問(wèn)題，提出了Coordinate-MapReduce框架，該框架通過(guò)協(xié)調(diào)多個(gè)任務(wù)的啟動(dòng)，減少任務(wù)間的等待時(shí)間;并基于數(shù)據(jù)連接屬性的分布比例，提出改進(jìn)框架下多表連接的連接順序優(yōu)化機(jī)制，從而最大程度上發(fā)揮框架性能。
　　其次，對(duì)于改進(jìn)框架下總節(jié)點(diǎn)的任務(wù)增加問(wèn)題，為了降低改進(jìn)后

4、單點(diǎn)失效的機(jī)率，提出基于虛擬化技術(shù)的部署策略，通過(guò)虛擬化管理框架對(duì)總節(jié)點(diǎn)的運(yùn)行環(huán)境情況進(jìn)行動(dòng)態(tài)監(jiān)控，并通過(guò)輪詢(xún)策略對(duì)將要出現(xiàn)的問(wèn)題進(jìn)行提前處理。同時(shí)，為了確保改進(jìn)后框架的性能，本文對(duì)改進(jìn)框架進(jìn)行了可靠性和擴(kuò)展性的分析，并且針對(duì)提出的連接策略進(jìn)行適用性分析，以方便用戶(hù)更好的使用框架。
　　最后，本文通過(guò)手動(dòng)生成網(wǎng)絡(luò)日志文件數(shù)據(jù)集，對(duì)框架的性能進(jìn)行了測(cè)試，通過(guò)實(shí)驗(yàn)可以看出本文提出的改進(jìn)框架對(duì)屬性值稀疏大表的處理上具有很大的優(yōu)勢(shì);通過(guò)對(duì)