基于BSP的大規(guī)模圖處理系統(tǒng)故障恢復(fù)機(jī)制的研究與實(shí)現(xiàn).pdf

1、基于BSP的并行計(jì)算系統(tǒng)適用于面向海量數(shù)據(jù)的圖計(jì)算、矩陣計(jì)算等需要多次迭代的算法實(shí)現(xiàn)。其與MapReduce并行計(jì)算系統(tǒng)類似，也將基于低成本服務(wù)器和本地磁盤來提高海量數(shù)據(jù)的并行處理能力。而在上述由大規(guī)模商用計(jì)算機(jī)組成的集群中，經(jīng)常會(huì)出現(xiàn)節(jié)點(diǎn)的故障，因此如何能夠容忍這些故障的出現(xiàn)，并及時(shí)地采取補(bǔ)救措施是非常必要的，課題研究的目的是通過故障恢復(fù)機(jī)制的合理設(shè)計(jì)與實(shí)現(xiàn)，使得系統(tǒng)具有較強(qiáng)的容錯(cuò)能力。因此實(shí)現(xiàn)故障恢復(fù)的透明性和提高故障檢測(cè)、診斷、恢

2、復(fù)的效率，減少對(duì)系統(tǒng)正常工作的影響將是課題研究的重點(diǎn)和難點(diǎn)問題。
　　針對(duì)上述問題，本文研究并實(shí)現(xiàn)了基于增量檢查點(diǎn)的回滾故障恢復(fù)機(jī)制，它不僅能夠有效的節(jié)省存儲(chǔ)資源，而且故障的發(fā)生相對(duì)用戶具有透明性。文中主要從三個(gè)方面展開了研究。首先，針對(duì)數(shù)據(jù)量大時(shí)讀、寫檢查點(diǎn)會(huì)降低系統(tǒng)效率的問題，本文在原有的檢查點(diǎn)機(jī)制的基礎(chǔ)上進(jìn)行了改進(jìn)，實(shí)現(xiàn)了檢查點(diǎn)的增量讀、寫，這樣不僅大大的提高了讀、寫檢查點(diǎn)的速度，而且有效的節(jié)省了系統(tǒng)的存儲(chǔ)資源，當(dāng)數(shù)據(jù)量達(dá)到

3、一定規(guī)模時(shí)，增量讀、寫檢查點(diǎn)的實(shí)現(xiàn)能夠有效的提高系統(tǒng)的效率;其次，實(shí)現(xiàn)了基于“心跳”的故障偵測(cè)功能，成功的解決了主控端如何獲得系統(tǒng)故障信息的問題。通過“心跳”主控端可以及時(shí)的獲取故障相關(guān)信息，并觸發(fā)相應(yīng)的故障恢復(fù)方案。最后，針對(duì)作業(yè)運(yùn)行過程中故障發(fā)生的隨機(jī)性，本文對(duì)系統(tǒng)中出現(xiàn)的故障按迭代計(jì)算過程的前、中、后分成三階段，并根據(jù)故障發(fā)生的階段和類型分別對(duì)這三階段的故障進(jìn)行處理。
　　經(jīng)過實(shí)際部署與應(yīng)用，基于BSP的大規(guī)模圖處理系統(tǒng)的故