MapReduce模型在Hadoop中的性能優(yōu)化應(yīng)用研究.pdf

1、互聯(lián)網(wǎng)的快速發(fā)展推動(dòng)著數(shù)據(jù)信息呈現(xiàn)著幾何式增長，數(shù)據(jù)占用空間從 GB發(fā)展到 TB甚至PB，飛速增長的數(shù)據(jù)規(guī)模標(biāo)識(shí)著人類進(jìn)入了大數(shù)據(jù)時(shí)代，大數(shù)據(jù)給人類帶來的沖擊不容小覷，用戶從爆炸式數(shù)據(jù)中挖掘出有效信息的效率反而降低，此時(shí)，通過對用戶數(shù)據(jù)進(jìn)行相似度計(jì)算能夠在一定程度上解決信息超載問題，從而提取出相對熱門并有用的數(shù)據(jù)信息。
　　Hadoop是當(dāng)前應(yīng)用最為廣泛的云計(jì)算開源平臺(tái)，MapReduce并行編程模型是云計(jì)算的關(guān)鍵技術(shù)之一。但在實(shí)

2、際運(yùn)用過程中，MapReduce模型計(jì)算過程中存在臨時(shí)數(shù)據(jù)量大，Reduce任務(wù)分配不均會(huì)導(dǎo)致系統(tǒng)資源率低等問題。
　　本文針對 MapReduce模型的應(yīng)用，給出了一種利用 MapReduce編程模型的分布式計(jì)算能力來實(shí)現(xiàn)海量數(shù)據(jù)的相似度計(jì)算方法，從 I/O操作和負(fù)載均衡策略兩個(gè)方面改進(jìn)了MapReduce編程模型。通過在Map階段后使用Stripe算法和SStripe算法完成對中間結(jié)果的本地聚集工作，以有效地緩解大量 I/O操