Spark并行動(dòng)態(tài)規(guī)劃及其在水庫(kù)群發(fā)電優(yōu)化調(diào)度中的應(yīng)用.pdf

1、水電能源的開發(fā)為現(xiàn)代社會(huì)的可持續(xù)發(fā)展提供了堅(jiān)實(shí)的基礎(chǔ)，水庫(kù)（群）聯(lián)合優(yōu)化調(diào)度的研究，為提高水電能源利用率提供可行依據(jù)，是非常重要的研究項(xiàng)目，其研究方法主要為構(gòu)建新模型以及求解算法的改進(jìn)。
　　隨著優(yōu)化調(diào)度對(duì)象規(guī)模的增大，傳統(tǒng)求解算法會(huì)因“維數(shù)災(zāi)”而受限，在多種改進(jìn)方法中，從執(zhí)行端的角度出發(fā)，將算法并行化以增加執(zhí)行效率是近年來(lái)新的研究成果。目前水庫(kù)調(diào)度算法并行研究大都基于Fork/Join框架和MPI框架，在單臺(tái)或者集群計(jì)算機(jī)運(yùn)行：

2、Fork/Join框架適用于在單臺(tái)計(jì)算機(jī)上使用，對(duì)算法執(zhí)行效率上的提高有限；MPI框架雖然可用于集群環(huán)境以獲取超越單機(jī)環(huán)境的加速比，但MPI并行程序設(shè)計(jì)繁瑣，需要考慮許多算法之外的問(wèn)題，對(duì)設(shè)計(jì)人員的計(jì)算機(jī)專業(yè)知識(shí)要求較高，而且MPI框架在容災(zāi)方面存在不足，不能保證計(jì)算的可靠性。
　　近年來(lái)各種集群計(jì)算引擎為海量數(shù)據(jù)處理提供了解決方案，其中Spark框架對(duì)分布式數(shù)據(jù)集上的迭代作業(yè)支持較好，被廣泛應(yīng)用于海量數(shù)據(jù)場(chǎng)景的機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘

3、和圖像處理等研究。Spark程序不僅可以運(yùn)行在單機(jī)和本地集群上，也可以運(yùn)行在資源配置靈活的云服務(wù)器上；程序設(shè)計(jì)方面Spark將數(shù)據(jù)切分、并行處理和容錯(cuò)健壯性等工作進(jìn)行了封裝，使并行程序的設(shè)計(jì)更加簡(jiǎn)單；在容災(zāi)方面Spark通過(guò)數(shù)據(jù)集之間的血統(tǒng)關(guān)系（Lineage）對(duì)丟失的數(shù)據(jù)進(jìn)行恢復(fù)，數(shù)據(jù)可靠性高。運(yùn)用Spark框架，本文對(duì)傳統(tǒng)求解方法中的動(dòng)態(tài)規(guī)劃和離散微分動(dòng)態(tài)規(guī)劃算法進(jìn)行了如下并行化研究：
　?。?）通過(guò)研究動(dòng)態(tài)規(guī)劃的狀態(tài)轉(zhuǎn)移過(guò)程

4、與Spark框架的運(yùn)行機(jī)制，本文將多階段狀態(tài)轉(zhuǎn)移過(guò)程轉(zhuǎn)換為Key-Value型數(shù)據(jù)集的迭代計(jì)算，實(shí)現(xiàn)動(dòng)態(tài)規(guī)劃（DP）和離散微分動(dòng)態(tài)規(guī)劃（DDDP）算法的Spark并行化，在多核環(huán)境下以經(jīng)典四水庫(kù)問(wèn)題和沅水串聯(lián)兩水庫(kù)為例對(duì)Spark并行DP測(cè)試，以經(jīng)典十水庫(kù)問(wèn)題和沅水混聯(lián)四水庫(kù)為例對(duì)Spark并行DDDP測(cè)試。
　?。?）針對(duì)異構(gòu)環(huán)境下運(yùn)行Spark并行DP程序時(shí)，同階段內(nèi)任務(wù)完成時(shí)間不同步問(wèn)題，提出了基于節(jié)點(diǎn)計(jì)算能力評(píng)估的任務(wù)分配