基于Hadoop的日志統(tǒng)計分析系統(tǒng)的設計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展,網(wǎng)絡數(shù)據(jù)呈現(xiàn)指數(shù)級的增長,IDC數(shù)據(jù)表明,全球企業(yè)數(shù)據(jù)正以55％的速度逐年增長,大數(shù)據(jù)中蘊含著巨大的商業(yè)價值,引起了企業(yè)的廣泛關注,然而,大數(shù)據(jù)給數(shù)據(jù)的同步、存儲、和數(shù)據(jù)統(tǒng)計分析帶來了一定的問題和困難,現(xiàn)有的工具逐漸無法有效的處理這些問題。Google首先推出了MapReduce用來應對其對大數(shù)據(jù)處理的需求。Hadoop是開源版本的MapReduce,并逐漸成為許多互聯(lián)網(wǎng)公司基礎計算平臺的一個核心部分。本文旨在實現(xiàn)基于

2、Hadoop的日志統(tǒng)計分析系統(tǒng)。
　　本文在對此系統(tǒng)進行需求分析的基礎上,設計了以Hadoop、HBase集群為基礎,數(shù)據(jù)源層、存儲層、計算層相互融合的體系結構,設計并實現(xiàn)了日志同步、統(tǒng)計分析作業(yè)定制、任務調度、數(shù)據(jù)查詢四大功能。
　　日志同步提供數(shù)據(jù)從不同數(shù)據(jù)源到Hadoop集群的數(shù)據(jù)收集、聚合和移動,以便數(shù)據(jù)的分布式存儲;統(tǒng)計分析作業(yè)的定制支持MapReduce、Streaming、Hive三種不同類型的作業(yè),滿足對統(tǒng)計

3、分析多樣性的需求;任務調度對所有用戶提交的作業(yè)進行統(tǒng)一管理和調度。數(shù)據(jù)查詢對存儲在集群中的數(shù)據(jù)提供多種查詢方式。
　　本文綜合使用了Hadoop生態(tài)圈的各種開源技術,包括FlumeNG、Sqoop、HDFS、MapReduce、Hive、HBase,從日志數(shù)據(jù)的收集同步,到日志的存儲和計算分析,到最終分析結果的查詢,涵蓋了使用Hadoop進行日志統(tǒng)計分析的典型流程和技術。
　　本文使用開發(fā)語言Java和shell,開發(fā)工具為