基于Spark和Hive的網易移動大數據支持平臺的設計與實現.pdf

1、對于互聯(lián)網產品來講，精準的決策和運營決定著產品的興盛與衰亡。目前，互聯(lián)網產品的決策和運營主要依靠于產品團隊和運營團隊人員的經驗，但是真正可以做到精準決策的人才有如鳳毛麟角。傳統(tǒng)的運營手段，不僅燒錢而且存在著用戶粘性低等問題。網易作為互聯(lián)網的先行者，各個業(yè)務線都擁有豐富的數據，但是各業(yè)務線的數據分析工作零散，適用范圍狹窄，缺乏通用性。因此公司迫切需要一個平臺整合內部的數據資源，為相關部門統(tǒng)一提供精準的數據分析支持服務。在這一背景下，移動大

2、數據支持平臺應運而生，為克服傳統(tǒng)決策和運營手段的局限性、提高公司資源復用提供了良好的解決方案。
　　本平臺基于分布式開發(fā)組件開發(fā)，所運用到的組件有Kafka、HDFS、Spark、Hive、HDFS Connector等，同時結合Spring、MyBatis等Java Web框架技術進行系統(tǒng)后臺服務的支持。平臺由基礎架構子系統(tǒng)、數據分析子系統(tǒng)和數據挖掘子系統(tǒng)組成。實習過程中，本人主要負責數據分析子系統(tǒng)的設計與開發(fā)工作，主要包括用戶

3、行為分析、交易行為分析、頁面熱力圖、路徑分析和輔助服務5個模塊。其中，前4個模塊的功能實現由數據分析部分和后臺服務部分協(xié)作完成，輔助服務模塊的功能實現由后臺服務部分獨立完成。數據分析部分使用大數據分析技術，后臺服務部分使用Java Web技術。
　　本論文中首先介紹平臺開發(fā)過程中所用到的關鍵性技術，其次從整體上對平臺的功能進行介紹，著重分析了本人負責模塊的功能需求，并對系統(tǒng)的非功能性需求進行了闡述。然后介紹了系統(tǒng)的技術架構設計、功