大數(shù)據(jù)環(huán)境下Hadoop平臺(tái)性能優(yōu)化研究.pdf

1、隨著信息技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)、物聯(lián)網(wǎng)以及各種移動(dòng)設(shè)備的普及，當(dāng)今社會(huì)數(shù)據(jù)規(guī)模已呈指數(shù)增長(zhǎng)。數(shù)據(jù)種類(lèi)包含了文本、語(yǔ)音、視頻、網(wǎng)絡(luò)日志等多種形式，大數(shù)據(jù)時(shí)代已然來(lái)臨。在大數(shù)據(jù)時(shí)代，將已有的海量數(shù)據(jù)信息進(jìn)行專業(yè)分析和處理，使得原始數(shù)據(jù)增值、可利用是亟需解決的關(guān)鍵問(wèn)題。如今，Hadoop是一個(gè)能夠有效的對(duì)海量數(shù)據(jù)進(jìn)行分析與處理的開(kāi)源平臺(tái)，具有高可靠性、高擴(kuò)展性、高效性以及高容錯(cuò)性等優(yōu)點(diǎn)。因此，本文在大數(shù)據(jù)環(huán)境下對(duì)Hadoop平臺(tái)的性能進(jìn)行研究

2、和優(yōu)化有著重要的現(xiàn)實(shí)意義。
　　本文首先對(duì)Hadoop平臺(tái)進(jìn)行了簡(jiǎn)單的介紹，重點(diǎn)研究了Hadoop平臺(tái)的核心組成部分HDFS和MapReduce，對(duì)二者的組成部分、運(yùn)行原理進(jìn)行了深入的研究，在分析HDFS和MapReduce源碼的基礎(chǔ)上，提出了HDFS中Namenode存在的單點(diǎn)失效問(wèn)題以及MapReduce在處理連接問(wèn)題時(shí)效率不高兩個(gè)性能問(wèn)題并對(duì)其進(jìn)行優(yōu)化研究。針對(duì)HDFS中Namenode單點(diǎn)失效問(wèn)題，本文在對(duì)現(xiàn)有解決方案進(jìn)行

3、研究的基礎(chǔ)上，提出一種改進(jìn)的Avatar機(jī)制，改進(jìn)的Avatar機(jī)制是一個(gè)能夠支持自動(dòng)切換，支持二次故障并且不丟失數(shù)據(jù)的方案。針對(duì)MapReduce處理連接算法時(shí)所表現(xiàn)的效率低下問(wèn)題，本文提出一種基于計(jì)數(shù)型Bloom過(guò)濾器的星型連接算法，該算法能夠有效降低磁盤(pán)的I/O開(kāi)銷(xiāo)，大大縮短連接時(shí)間，提高了Hadoop分析海量數(shù)據(jù)的速度。
　　最后，搭建了實(shí)驗(yàn)平臺(tái)對(duì)改進(jìn)的Avatar機(jī)制和基于計(jì)數(shù)型Bloom過(guò)濾器的星型連接算法進(jìn)行實(shí)驗(yàn)驗(yàn)證