基于R語言和Hadoop的集成技術(shù)及其實現(xiàn)研究.pdf

1、隨著數(shù)據(jù)規(guī)模在互聯(lián)網(wǎng)、生物、天文學等領(lǐng)域的爆炸性增長，如何有效地從這些大規(guī)模的數(shù)據(jù)集中獲取有價值信息的能力變得越發(fā)重要。R語言作為流行度最高的統(tǒng)計分析語言，它提供了豐富的數(shù)據(jù)統(tǒng)計功能，但卻無法有效的處理海量數(shù)據(jù)。針對這一問題，R語言在分布式計算平臺上運行的需求急劇增加。所以設(shè)計一個能使R語言運行在分布式計算平臺上的集成技術(shù)顯得尤為重要。
　　在Google發(fā)布了GFS，BigTable和MapReduce3篇論文之后，分布式計算便

2、的更加易于應用，在普通的商用機器上就可運行龐大的分布式運算程序。Hadoop作為基于這3篇論文的一個開源的分布式計算平臺擁有良好的擴展性，并提供充足的API供開發(fā)人員在其平臺上進行計算程序的開發(fā)。將R語言與Hadoop集成既可解決R語言缺乏并行運算能力的缺陷，又加強了Hadoop平臺大規(guī)模數(shù)據(jù)分析能力，可謂一舉兩得。
　　然而，R語言有一個缺點在于他并不支持并行計算，以如今的數(shù)據(jù)規(guī)模以及增長速度來看。如果不支持并行，這將成為R語言

3、運行效率的瓶頸。為了提高R語言的運行效率，就只有購買非常昂貴的超級計算機，這樣并不利于R語言的發(fā)展，也不是處理大規(guī)模增長數(shù)據(jù)的有效方式。而R與Hadoop的集成技術(shù)的實現(xiàn)，提供了一種支持并行分布式的R語言的方案，使得我們?nèi)匀豢梢允褂迷械腞語言語法，只需加入一些特有的函數(shù)便可以將R語言運行在分布式的Hadoop節(jié)點上，這極大的提高的R語言對于大規(guī)模數(shù)據(jù)處理的實用性以及執(zhí)行效率。由于Hadoop節(jié)點可在普通的商用機器上運行，這為R語言提供