基于YARN的高響應性Hadoop計算資源調(diào)度器的研究與實現(xiàn).pdf

1、伴隨著大數(shù)據(jù)分析技術(shù)向各個領域的滲透，大數(shù)據(jù)處理平臺的響應性能逐漸成為人們的關注焦點。作為當前最為流行的開源大數(shù)據(jù)處理平臺，Hadoop在其第二代（Hadoop2.0）中采用YARN進行計算資源的管理，從而提高了平臺的資源利用效率并且可以兼容多種計算框架。然而，YARN中現(xiàn)有的資源調(diào)度策略都是針對批處理系統(tǒng)而設計，導致平臺在響應性能上存在嚴重的不足，無法滿足交互式分析等應用的需求。因此，本文基于YARN的資源管理模式，進行了高響應性資源

2、調(diào)度器的研究。
　　本文借鑒了基于作業(yè)體量的調(diào)度策略，并針對YARN的資源管理模式和應用特性進行了改進和擴展，提出了FSPY（Fair Sojourn Protocol in YARN）資源調(diào)度器。FSPY調(diào)度器的基本策略是賦予虛擬體量較小的作業(yè)較高的優(yōu)先級。這里，作業(yè)體量即作業(yè)資源占用量在其執(zhí)行時間上的積分，作業(yè)虛擬體量指公平調(diào)度下作業(yè)在某一時刻的剩余體量。為了對作業(yè)的虛擬體量進行跟蹤計算，本文設計了一個作業(yè)體量預測模塊和一個作

3、業(yè)虛擬體量計算模塊。在作業(yè)體量預測模塊中，本文針對MapReduce編程框架提出了一種基于探測作業(yè)和回歸分析相結(jié)合的預測方法。在作業(yè)虛擬體量計算模塊中，本文提出了一套簡單可行的估算算法。此外，為緩解作業(yè)體量預測延時所帶來的影響，F(xiàn)SPY調(diào)度器在獲得作業(yè)體量之前采用公平調(diào)度策略對其調(diào)度。
　　本文通過實驗對作業(yè)體量預測模塊的預測精度和FSPY調(diào)度器的整體性能進行了驗證。實驗中所采用的作業(yè)集和數(shù)據(jù)集是利用SWIM工具基于FaceBoo

4、k2009年集群跟蹤數(shù)據(jù)而生成的。實驗中，預測模塊對于MapReduce作業(yè)體量的R平方預測精度達到了0.97，充分滿足了大多數(shù)基于體量調(diào)度算法的要求；在工作負載較輕的情況下，F(xiàn)SPY調(diào)度器與公平調(diào)度器在作業(yè)平均響應時間上具有相似的性能；而在工作負載較重的情況下，F(xiàn)SPY調(diào)度器相比于公平調(diào)度器在作業(yè)平均響應時間上具有數(shù)倍的性能提升；FSPY調(diào)度下只有少數(shù)作業(yè)的響應時間超過其在公平調(diào)度下的響應時間，但是超時比例較小，表明FSPY有效保證了