分布式計算環(huán)境中的性能異常預測監(jiān)控.pdf

1、近十幾年來,分布式系統(tǒng)環(huán)境得到了廣泛的關注和研究。分布式計算將需要龐大計算資源的問題分割成若干子問題,這些子問題再由系統(tǒng)中的多個計算機分別進行處理,各個計算機處理的結果集中整合到一起成為一個最終的結果,由于一個巨大的問題需要多個計算機合作進行解決,因此計算的可靠性和有效性成了人們的關注目標。為了提高分布式環(huán)境的可靠性,傳統(tǒng)的方法是通過使用基于冗余部件的高可用性(HA)技術來保證持續(xù)的服務,在出現(xiàn)節(jié)點失效的情況下,將該節(jié)點上的應用立即遷移

2、到冗余節(jié)點上。但是,如果使用預測機制在節(jié)點失效之前及時地發(fā)現(xiàn)系統(tǒng)中的異常,根據(jù)異常的級別和相關的維護機制,可以有效地避免節(jié)點意外中止,因此可以更大程度地高分布式環(huán)境的可靠性。在實際情況中,性能異常預測可以應用到多方領域中減少不要的損失,根據(jù)需要達成特定的監(jiān)控目的。機器的性能主要可以反映為 CPU負載、內(nèi)存使用率、磁盤使用率等,因此,本文主要研究這些數(shù)據(jù)所形成的時間序列異常預測的技術。
　　目前,在異常研究領域,盡管已經(jīng)有不少有關性

3、能異常探測技術,但性能異常預測卻尚未得到廣泛研究。異常探測只能在異常已經(jīng)發(fā)生之后對其進行檢測分析,而異常預測技術才是真正避免異常發(fā)生的關鍵所在。
　　針對這些問題,本文提出了兩類異常預測模型——單變量的異常預測算法和多變量的異常預測算法。其中,單變量的異常預測算法采用單個性能度量作為預測對象,通過尋找最相似模式與機器學習結合的方法,對異常的預兆進行判斷。多變量的異常預測算法則同時觀察系統(tǒng)的多個度量,綜合考慮多方面因素,通過改進的基

4、于KNN的方法對異常進行預測。除此以外,對每一種算法本文都設計了一系列實驗,從多角度來檢驗各算法的準確性,在各實驗中,本文將算法結果與前人的算法實驗結果想對比,比較各自算法的長處和不足。
　　在本文的最后,介紹了名為“基于語義事件的分布式監(jiān)控系統(tǒng)”的分布式監(jiān)控模型,該系統(tǒng)是一種全新的監(jiān)控系統(tǒng),它用語義的形式來發(fā)布監(jiān)控信息,而語義事件可由用戶自行定義,這樣使得該系統(tǒng)更加靈活并且易于擴展。此外,我們還將以上兩類異常監(jiān)控模型整合到該系統(tǒng)