大數(shù)據(jù)平臺運行監(jiān)控系統(tǒng)的研究與應用.pdf

1、近年來，大數(shù)據(jù)技術(shù)迅猛發(fā)展，越來越多的互聯(lián)網(wǎng)企業(yè)開始將項目部署在集群上。在實際應用中，集群資源豐富、環(huán)境復雜，保證集群的正常運行尤為重要，于是大數(shù)據(jù)平臺運行監(jiān)控系統(tǒng)應運而生。監(jiān)控系統(tǒng)旨在實時監(jiān)控集群、節(jié)點以及節(jié)點上計算作業(yè)的運行情況，及時發(fā)現(xiàn)異常并告警，保證調(diào)度任務的順利完成。
　　本文對集群監(jiān)控關(guān)鍵技術(shù)進行了深入的研究與分析，針對實時監(jiān)控集群健康狀況的迫切需求，為解決現(xiàn)有系統(tǒng)在作業(yè)運行監(jiān)控方面的局限及不足，重點研究了針對集群作業(yè)

2、運行的監(jiān)控方法，提出了基于snmp協(xié)議的監(jiān)控代理和監(jiān)控插件的實現(xiàn)方案，并搭建了大數(shù)據(jù)集群實驗環(huán)境，通過實驗驗證了方案的有效性，結(jié)果表明本文的監(jiān)控策略是有效可行的，可以保證大數(shù)據(jù)平臺的穩(wěn)定運行，滿足集群監(jiān)控實際需求。本文的主要工作及研究成果如下:
　　(1)通過研究大數(shù)據(jù)平臺運行狀況，提出了集群健康指標體系，確定了針對集群、節(jié)點性能、作業(yè)運行三個層次的監(jiān)控指標。
　　(2)針對大數(shù)據(jù)集群硬件資源豐富的特點，提出了對集群性能指標

3、的監(jiān)控方案。該方案以Icinga監(jiān)控平臺為模型，通過監(jiān)控插件和NRPE監(jiān)控代理最終實現(xiàn)了對集群資源和節(jié)點性能的監(jiān)控，并且能夠通過郵件、短信等多種渠道實現(xiàn)故障告警，達到及時發(fā)現(xiàn)異常并處理的目的。
　　(3)根據(jù)大數(shù)據(jù)集群分布式架構(gòu)的特點，提出了針對作業(yè)運行的監(jiān)控方案。該方案采用日志監(jiān)控技術(shù)進行數(shù)據(jù)采集，通過snmp協(xié)議進行數(shù)據(jù)傳輸，結(jié)合Icinga擴展機制實現(xiàn)了與ROSS監(jiān)控平臺的集成，最終完成了對大數(shù)據(jù)平臺中作業(yè)運行情況的全面監(jiān)控