基于Hadoop的實時流媒體分布式處理研究.pdf

1、隨著三網(wǎng)融合的逐步推進，廣播電視網(wǎng)、計算機通信網(wǎng)、電信網(wǎng)絡中涌現(xiàn)出越來越多的媒體數(shù)據(jù)。這些媒體數(shù)據(jù)的處理不僅需要大量的計算資源，而且在處理時間上也有嚴格的要求，所以如何保證實時流媒體的服務質量始終是重要的研究課題。
　　 提高單機多處理器并行能力的傳統(tǒng)方法，雖然可以在一定程度上提高實時流媒體的處理速度，但限于硬件約束，始終存在能力瓶頸。分布式并行處理可以解決單機瓶頸的問題，是當前的研究熱點，但需要考慮負載均衡、任務分配以及分布式

2、編程等工作，計算過程更為復雜。實時流媒體的分布式處理技術尚不成熟，當前的研究較多針對實時流媒體的分塊及任務順序調配，而在任務調度和負載均衡等方面的研究成果并不多見。
　　 本文面向實時流媒體進行分布式處理，基于當前流行的開源架構Hadoop系統(tǒng)開展任務調度和負載均衡算法的研究。本文設計了流媒體的編碼和轉碼的架構以及提出了編轉碼架構的三層處理模型，針對三層架構首先研究了可以適配不同終端的H.264 SVC(Scalable Vid

3、eo Coding)編碼格式流媒體的編碼和轉碼方法，為了使得SVC的編轉碼方法能夠進行分布式處理，本文將SVC的編轉碼進行了分布式移植，實現(xiàn)了SVC編轉碼的map reduce編程模型，使得SVC的編轉碼方法能夠在Hadoop上分布式執(zhí)行。然后本文將當前Hadoop使用的負載和調度算法進行了對比分析和研究，并對負載和調度方案進行了改進，設計使用了基于堆的動態(tài)閾值混合負載均衡算法和基于用戶優(yōu)先級的DF(DeadlineFirst)調度策略

4、。另外本文提出了流媒體數(shù)據(jù)塊的分塊封裝方法，以配合設計的負載和調度策略。本文最后進行了實驗的驗證，為了驗證改進Hadoop對實時流媒體處理的有效性，本文在任務平均處理時長和滿意度兩方面進行了實驗對比，實驗結果顯示在任務平均處理時長和滿意度量方面改進Hadoop與原Hadoop比較都更優(yōu)，從而驗證了本文提出的方案的有效性。
　　 本文的成果，驗證了設計的改進方法滿足了實時流媒體的實時性、并發(fā)性和處理速度等方面的要求，使得采用分布式