基于Hadoop的工作流系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著云計(jì)算技術(shù)空前的發(fā)展和海量數(shù)據(jù)的計(jì)算需求更加膨脹，工作流系統(tǒng)作為用戶業(yè)務(wù)與云計(jì)算資源之間的紐帶和橋梁越發(fā)受到重視，現(xiàn)有的工作流管理系統(tǒng)多以第三方獨(dú)立系統(tǒng)形式與Hadoop等分布式計(jì)算平臺配合運(yùn)行，將工作流的實(shí)際運(yùn)行完全托管于分布式計(jì)算平臺，固然這種方案使工作流的管理更加簡化，卻造成了對工作流的執(zhí)行缺乏優(yōu)化、工作流的觸發(fā)方式單一以及無法運(yùn)行實(shí)時工作流業(yè)務(wù)等亟待解決的問題。
　　本文提出了一種集成工作流引擎與Hadoop集群的工作

2、流系統(tǒng)架構(gòu)方案，通過實(shí)現(xiàn)內(nèi)置于 Hadoop的可插拔模塊，使工作流系統(tǒng)具備在集群中識別工作流作業(yè)、解析工作流實(shí)例結(jié)構(gòu)、控制工作流資源分配的能力，從而打破了工作流引擎與底層云計(jì)算集群間的壁壘。
　　為實(shí)現(xiàn)工作流引擎與云計(jì)算集群間的工作流信息傳遞，本文提出了針對本系統(tǒng)功能的工作流描述語言—iPDL，并詳細(xì)介紹了其承載工作流結(jié)構(gòu)、配置信息能力。
　　為充分利用新架構(gòu)帶來的優(yōu)勢，本文還提出了針對工作流作業(yè)調(diào)度的優(yōu)化算法以及針對混合