做大數(shù)據(jù)過程中遇到的13個問題

1、做大數(shù)據(jù)過程中遇到的13個問題1、最早的數(shù)據(jù)分析可能就報表目前很多數(shù)據(jù)分析后的結果，展示的形式很多，有各種圖形以及報表，最早的應該是簡單的幾條數(shù)據(jù)，然后搞個web頁面，展示一下數(shù)據(jù)。早期可能數(shù)據(jù)量也不大，隨便搞個數(shù)據(jù)庫，然后SQL搞一下，數(shù)據(jù)報表就出來了。但是數(shù)據(jù)量大起來怎么分析呢？數(shù)據(jù)分析完了怎么做傳輸呢？這么大的數(shù)據(jù)量怎么做到實時呢？分析的結果數(shù)據(jù)如果不是很大還行，如果分析的結果數(shù)據(jù)還是很大改怎么辦呢？這些問題在這篇文章中都能找到答

2、案，下面各個擊破。2、要做數(shù)據(jù)分析，首先要有數(shù)據(jù)這個標題感覺有點廢話，不過要做飯需要食材一樣。有些數(shù)據(jù)時業(yè)務積累的，像交易訂單的數(shù)據(jù)，每一筆交易都會有一筆訂單，之后再對訂單數(shù)據(jù)作分析。但是有些場景下，數(shù)據(jù)沒法考業(yè)務積累，需要依賴于外部，這個時候外部如果有現(xiàn)成的數(shù)據(jù)最好了，直接join過來，但是有時候是需要自己獲取的，例如搞個爬蟲爬取網(wǎng)頁的數(shù)據(jù)，有時候單臺機器搞爬蟲可能還爬不完，這個時候可能就開始考慮單機多線程爬取或者分布式多線程爬取數(shù)據(jù)

3、，中間涉及到一個步驟，就是在線的業(yè)務數(shù)據(jù)，需要每天晚上導入到離線的系統(tǒng)中，之后才可以進行分析。3、有了數(shù)據(jù)，咋分析呢？先將數(shù)據(jù)量小的情況下，可能一個復雜的據(jù)分析就好之前寫SQL一樣了，按照邏輯編寫hiveSQL，然后控制臺執(zhí)行?？赡茏畲蟮母杏X是，數(shù)據(jù)庫的sql很快就能有結果，但是hive的，即使很小的一個數(shù)據(jù)分析，也需要幾分鐘時間。構建hive，需要在hadoop的集群上，原理很簡單，就是把文件構建成表的形式（有一個數(shù)據(jù)庫或者內存數(shù)據(jù)庫

4、維護表的schema信息），之后提交寫好的hivesql的時候，hadoop集群里面的程序把hive腳本轉換成對應的mapreduce程序執(zhí)行。這個時候，做離線的數(shù)據(jù)分析簡單寫腳本就行了，不用再搞java代碼，然后上傳執(zhí)行了。6、數(shù)據(jù)產(chǎn)生的結果，怎么搞到線上提供服務的數(shù)據(jù)庫中呢？這個時候分析的結果有了，可能是一個很寬很長的excel表格，需要導入到線上的數(shù)據(jù)庫中，可能你想到了，如果我的數(shù)據(jù)庫是mysql，我直接執(zhí)行l(wèi)oad命令就搞進去了

5、，哪有那么麻煩。但是數(shù)據(jù)源可能有多了，mysqlaclehbasehdfs按照笛卡爾積的形式，這樣搞要搞死程序員了。這個時候datax（已經(jīng)開源）出現(xiàn)了，能夠實現(xiàn)異構數(shù)據(jù)源的導入和導出，采用插件的形式設計，能夠支持未來的數(shù)據(jù)源。如果需要導數(shù)據(jù)，配置一下datax的xml文件或者在web頁面上點擊下就可以實現(xiàn)了。7、離線分析有時間差，實時的話怎么搞呢？要構建實時的分析系統(tǒng)，其實在結果數(shù)據(jù)出來之前，架構和離線是截然不同的。數(shù)據(jù)時流動的，如果