云集群失敗作業(yè)的主動預測方法研究.pdf

1、隨著云計算技術的迅猛發(fā)展，云服務得到廣泛應用。在大規(guī)模分布式云計算平臺中，由于軟硬件故障、節(jié)點失效、作業(yè)調度資源不足等原因，導致作業(yè)無法正常完成，造成的資源浪費現象更為嚴重，因此，進行作業(yè)故障預測的研究，對于提高資源利用率有著重要的意義。常見故障預測研究有軟/硬件故障預測、系統(tǒng)故障預測等。作業(yè)失敗狀態(tài)的預測是軟件故障預測的一個方面。傳統(tǒng)的故障預測技術進行分析存在一定缺陷，隨著人工智能技術的發(fā)展，機器學習方法越來越多地被應用于失敗作業(yè)預測

2、。
　　本文以大型異構并行計算的Google云集群數據集為研究對象，統(tǒng)計分析失敗作業(yè)的屬性，使用支持向量機模型和在線極限學習機模型對作業(yè)的終止狀態(tài)進行主動預測。主要工作和貢獻如下：
　?。?）統(tǒng)計了Google云集群作業(yè)的完成情況，并分析了導致作業(yè)各種終止狀態(tài)的影響因素，在此基礎上，提出將影響作業(yè)終止狀態(tài)的特征劃分為靜態(tài)特征和動態(tài)特征。針對云平臺頻繁的作業(yè)失敗現象，提出了使用支持向量機模型，主動預測作業(yè)終止狀態(tài)。該方法使用作

3、業(yè)的靜態(tài)特征和動態(tài)特征作為作業(yè)的特征向量。實驗結果顯示，該方法預測作業(yè)終止狀態(tài)的精確率達到95%。
　?。?）針對實際應用中數據是流式到達的，提出使用在線序列極限學習機模型進行在線失敗作業(yè)預測的方法。該方法根據作業(yè)到達順序，批量取數據，使用該批數據進行作業(yè)狀態(tài)預測并更新模型。實驗結果顯示，使用在線序列極限學習機模型能夠在0.01s內完成模型更新，并以93%的準確預測出作業(yè)的終止狀態(tài)。
　?。?）在時間、預測精度等性能指標方面