運(yùn)維故障處理思路

1、事件事件故障處理應(yīng)該要有什么思路故障處理應(yīng)該要有什么思路導(dǎo)讀：導(dǎo)讀：在講解事件、故障處理思路前，我先講一個(gè)故障場(chǎng)景（以呼叫中心系統(tǒng)作為一例子）：業(yè)務(wù)人員反映呼叫中心系統(tǒng)運(yùn)行緩慢，部份電話在自助語(yǔ)言環(huán)節(jié)系統(tǒng)處理超時(shí)，話務(wù)轉(zhuǎn)人工座席，人工座席出現(xiàn)爆線情況。運(yùn)維人員開(kāi)始忙活了，查資源使用情況、查服務(wù)是否正常、查日志是否報(bào)錯(cuò)、查交易量還有沒(méi)有……時(shí)間不知不覺(jué)的在敲鍵盤(pán)、敲鍵盤(pán)、敲鍵盤(pán)中過(guò)去，但是原因還未定位。經(jīng)理過(guò)來(lái)了解情況：“系統(tǒng)恢復(fù)了嗎？”

2、、“故障影響是什么？”、“交易中斷了嗎？”……運(yùn)維人員趕緊敲鍵盤(pán)，寫(xiě)sql，看交易量；敲鍵盤(pán)，寫(xiě)命令，看系統(tǒng)資源、情況……最終，定位到問(wèn)題原因是其中一個(gè)功能沒(méi)有控制返回?cái)?shù)量，導(dǎo)致內(nèi)存泄露。針對(duì)這個(gè)故障，業(yè)務(wù)希望運(yùn)維能否更快的解決故障的恢復(fù)，經(jīng)理希望制定優(yōu)化呼叫中心故障處理流程，做了以下幾件事：1.優(yōu)先故障處理過(guò)程的時(shí)間——”能通過(guò)鼠標(biāo)完成的工作，不要用鍵盤(pán)“2.提前發(fā)現(xiàn)故障，加強(qiáng)監(jiān)控——“技術(shù)早于業(yè)務(wù)發(fā)現(xiàn)問(wèn)題，監(jiān)控不僅是報(bào)警，還要協(xié)助故

3、障定位”3.完善故障應(yīng)急方案——“應(yīng)急方案是最新的、準(zhǔn)確的、簡(jiǎn)單明了的”4.長(zhǎng)遠(yuǎn)目標(biāo)：故障自愈——”能固化的操作自動(dòng)化，能機(jī)器做的讓機(jī)器做“下面將從故障常見(jiàn)的處理方法開(kāi)始介紹，再?gòu)墓收锨暗臏?zhǔn)備工作（完善監(jiān)控、制定應(yīng)急方案等方式）來(lái)解決經(jīng)理提出的問(wèn)題，并提出未來(lái)解決故障的想法。1、常見(jiàn)的方法：、常見(jiàn)的方法：1）確定故障現(xiàn)象并初判問(wèn)題影響）確定故障現(xiàn)象并初判問(wèn)題影響在處理故障前，運(yùn)維人員首先要知道故障現(xiàn)象，故障現(xiàn)象直接決定故障應(yīng)急方案的制定

4、，這依賴(lài)于運(yùn)維人員需要對(duì)應(yīng)用系統(tǒng)的整體功能有一定的熟悉程度。確認(rèn)了故障現(xiàn)象后，才能指導(dǎo)運(yùn)維人員初判斷故障影響。與第（3）點(diǎn)避免同時(shí)各關(guān)聯(lián)團(tuán)隊(duì)同時(shí)無(wú)頭緒的排查的同時(shí)，對(duì)于牽頭方在縮小范圍后需要開(kāi)放的態(tài)度去請(qǐng)求關(guān)聯(lián)方配合定位，而對(duì)于關(guān)聯(lián)方則需要有積極配合的工作態(tài)度。?是否有足夠的日志是否有足夠的日志定位故障原因，最常用的方法就是分析應(yīng)用日志，對(duì)運(yùn)維人員不僅需要知道業(yè)務(wù)功能對(duì)應(yīng)哪個(gè)服務(wù)進(jìn)程，還要知道這個(gè)服務(wù)進(jìn)程對(duì)應(yīng)的哪些應(yīng)用日志，并具備一些簡(jiǎn)

5、單的應(yīng)用日志異常錯(cuò)誤的判斷能力。?是否有是否有cece或dumpdump等文件等文件故障期間的系統(tǒng)現(xiàn)場(chǎng)很重要，這個(gè)在故障應(yīng)急前建議在有條件的情況下留下系統(tǒng)現(xiàn)場(chǎng)的文件，比如CEDUMP，或TRACE采集信息等，備份好一些可能被覆蓋的日志等。上述是一般性的故障常見(jiàn)的方法，在重大故障或多方處理的故障出現(xiàn)時(shí)，往往小范圍的排查不利于快速解決，需要啟動(dòng)緊急處理的流程，建議可以考慮以下溝通：?召集相關(guān)人員?描述故障現(xiàn)狀?說(shuō)明正常應(yīng)用邏輯流程?陳述變更

6、?排查進(jìn)展，展示信息?領(lǐng)導(dǎo)決策2、完善監(jiān)控、完善監(jiān)控1）從監(jiān)控可視化上完善）從監(jiān)控可視化上完善完善的監(jiān)控策略需要有統(tǒng)一的可視化操作界面，在制定完善的監(jiān)控策略后，故障處理人員需要能夠快速的看到相應(yīng)的運(yùn)行數(shù)據(jù)，比如：能夠看到一段時(shí)間的趨勢(shì)、故障期間的數(shù)據(jù)表現(xiàn)、性能分析的情況等等數(shù)據(jù)，且這些數(shù)據(jù)可以提前制定好策略直接推出分析結(jié)果給故障處理人員，這樣就大大提高了故障的處理效率，以呼叫中心系統(tǒng)為例，需要提前配置好以下實(shí)時(shí)交易數(shù)據(jù)，以便故障定位：交