基于分布式流計算的運維數據分析

1、基于分布式流計算的運維數據分析基于分布式流計算的運維數據分析陳希楊世登吳志力摘要隨著運維領域數據采集技術的不斷更新，出現了大量實時的非結構化數據，這些實時產生的數據如同流水一樣源源不斷地流入到數據倉庫。如何實時獲取運維數據流中的關鍵信息，并實現快速精準分析至關重要。單靠當前傳統(tǒng)的批處理模式很難實現。所以，一種全新的分布式流計算處理模式應運而生，這種處理模式以其良好的擴展性、靈活性、易用性受到業(yè)界的歡迎。本文基于分布式流計算技術，采用了插

2、件式可配置的設計理念，構建了分布式的運維分析系統(tǒng)。通過可配置化的資源管理，實現新的監(jiān)控資源自動注冊、匯總注冊節(jié)點、快速分析、處理、計算，實現對運維數據的實時展現?！娟P鍵詞】運維管理數據分析分布式流計算1系統(tǒng)設計介紹分布式流計算系統(tǒng)在各大科技公司擁有無可替代的重要地位，尤其是在在線及近線的海量數據處理上。低延時高可靠是其核心指標。Spark是一種支持流式計算、批處理和實時查詢的計算系統(tǒng)。僅使用一個通用的stack就能夠解決一系列問題，同時

3、減少開發(fā)及維護成本。除了Spark以外，Twitter的Stm也是比較出名的流式計算系統(tǒng)。1.1Spark的設計務。計算平臺最重大的意義就在于算法開發(fā)人員無需了解程序的運行處理方式，只需提供算法與計算邏輯即可高速、可靠地處理海量數據。流式系統(tǒng)最重要的抽象就是Streaming。那么Steaming如何流動？實際上這涉及到消息的傳遞和分發(fā)。數據如何從一個節(jié)點傳遞到另外一個節(jié)點是由拓撲定義的，具體實現可以參照下一小節(jié)。2消息傳遞和分發(fā)如何設

4、計數據之間的消息傳遞？通過對比Stm和Spark，我們就能明白消息傳遞和分發(fā)是取決于具體系統(tǒng)來實現的。2.1Spark的消息傳遞Spark的消息傳遞是通過將用戶定義的數據先轉換成RDDDAG，由DAGScheduler把RDDDAG轉化為StageDAG，每個Stage中包含了一組相同的Task，這便構成了TaskSet，然后TaskSet中的Task被分發(fā)到Execut中去執(zhí)行Stage中包含的算子。最終，轉換到開發(fā)人員的工作就是事先

5、定義好一系列的RDD，再在RDD上做相應的轉化規(guī)則，最后系統(tǒng)會將所有的RDD批量放到Spark集群中去運行。2.2Stm的消息傳遞Stm消息傳遞機制是單獨用一個線程負責執(zhí)行反序列化并執(zhí)行用戶邏輯，每個Wker都會有一個端口，用于監(jiān)聽接收到的消息并放到消息的目標Task的反序列化隊列中。Stm有六種消息分發(fā)模式，分別是ShuffleGrouping、FieldsGrouping、AllGrouping、GlobalGrouping、Non