PB級(jí)日志的數(shù)據(jù)分析的設(shè)計(jì)與應(yīng)用.pdf

1、在企業(yè)公司的業(yè)務(wù)決策中，數(shù)據(jù)分析一直扮演著及其關(guān)鍵的作用。按照具體工作邏輯進(jìn)行數(shù)據(jù)的分析，可以從繁多的數(shù)據(jù)中抓取到自己想要的數(shù)據(jù)。但是隨著進(jìn)入大數(shù)據(jù)的時(shí)代，日志的數(shù)據(jù)量越來(lái)越龐大，傳統(tǒng)的數(shù)據(jù)分析效率變得越來(lái)越低。隨著Hadoop等大數(shù)據(jù)分析框架的發(fā)展，使用Hadoop作為工具分析公司的業(yè)務(wù)日志，抓取分析數(shù)據(jù)，顯得越來(lái)越重要。數(shù)據(jù)量變多，一方面是記錄的條數(shù)越來(lái)越多，一方面是每一條記錄的內(nèi)容也變得越來(lái)多。通過(guò)分析大數(shù)據(jù)，可以得到更精準(zhǔn)的業(yè)務(wù)

2、指標(biāo)。如何高效高準(zhǔn)確的建立基于日志的數(shù)據(jù)分析顯得越來(lái)越重要?；赑B級(jí)日志的數(shù)據(jù)分析主要進(jìn)行以下內(nèi)容進(jìn)行研究：
　?。?）針對(duì)大數(shù)據(jù)介紹了數(shù)據(jù)的序列化，HDFS，RCFile以及MapReduce等相關(guān)的理論知識(shí)，對(duì)Google ProtoBuf，MapReduce,RCFile進(jìn)行的詳細(xì)的說(shuō)明。
　?。?）就數(shù)據(jù)分析使用的兩種框架進(jìn)行闡述，重點(diǎn)論述了兩種框架對(duì)應(yīng)的MapReduce程序的設(shè)計(jì)。之后通過(guò)論述基于MapRedu

3、ce的數(shù)據(jù)分析的五個(gè)步驟，使用分模塊方式將數(shù)據(jù)分析過(guò)程模塊化，以及運(yùn)行自動(dòng)化及備份做闡述。
　?。?）使用2個(gè)例子分別對(duì)應(yīng)2種設(shè)計(jì)框架，詳細(xì)說(shuō)明了實(shí)際工作中數(shù)據(jù)分析的整個(gè)過(guò)程。最后進(jìn)行了性能的時(shí)間分析對(duì)比時(shí)間，使用圖表直觀展現(xiàn)實(shí)驗(yàn)結(jié)果。
　　基于PB日志的數(shù)據(jù)分析系統(tǒng)已經(jīng)在公司運(yùn)行，在實(shí)際工作中，對(duì)于相關(guān)廣告業(yè)務(wù)的實(shí)驗(yàn)，策略起到了強(qiáng)有力的支撐工作。使用列存儲(chǔ)保存日志MapReduce程序運(yùn)行時(shí)間節(jié)約50％以上，性能優(yōu)化明顯。