面向科學(xué)工作流的云數(shù)據(jù)布局方法研究.pdf

1、隨著信息技術(shù)的發(fā)展和普及，數(shù)據(jù)密集型應(yīng)用已被廣泛應(yīng)用于眾多等領(lǐng)域，尤其是科學(xué)計算領(lǐng)域。這類應(yīng)用所處理的數(shù)據(jù)量通常十分巨大，且應(yīng)用數(shù)據(jù)集之間往往存在著關(guān)聯(lián)關(guān)系。通過應(yīng)用工作流技術(shù)，可以實現(xiàn)各種復(fù)雜計算任務(wù)的自動化執(zhí)行，我們稱之為科學(xué)工作流。部署和執(zhí)行科學(xué)工作流應(yīng)用，不僅對計算資源有較高要求，同時也需要大量的存儲空間。當(dāng)前科學(xué)工作流應(yīng)用多被部署于分布式計算系統(tǒng)，因為這些系統(tǒng)能夠為科學(xué)工作流提供所需的高性能計算資源和海量存儲空間。
　　

2、 云計算作為一種典型的分布式網(wǎng)絡(luò)計算技術(shù)，能夠以相對低廉的基礎(chǔ)設(shè)施成本為科學(xué)工作流應(yīng)用提供所需的計算和存儲資源，為其提供了一種全新的部署和執(zhí)行方式。在云計算環(huán)境下部署和執(zhí)行科學(xué)工作流應(yīng)用，一方面能夠節(jié)約大量成本，另一方面也為在遍布Internet的科研人員間實現(xiàn)資源共享與合作研究提供了一個良好的契機。
　　 然而，科學(xué)工作流應(yīng)用在利用云計算技術(shù)的過程中遇到了一些新的挑戰(zhàn)，特別是在數(shù)據(jù)布局(data placement)方面。云

3、數(shù)據(jù)布局，即指在多數(shù)據(jù)中心的云存儲環(huán)境下為應(yīng)用數(shù)據(jù)文件選擇存放位置的過程，其結(jié)果被稱為云數(shù)據(jù)布局方案?？茖W(xué)工作流應(yīng)用的部署和執(zhí)行過程，是云計算環(huán)境下多個分布式數(shù)據(jù)中心協(xié)作的過程，該過程中的跨數(shù)據(jù)中心數(shù)據(jù)移動難以避免。由此帶來的挑戰(zhàn)主要體現(xiàn)在三個方面：1）一些應(yīng)用數(shù)據(jù)集由于所有權(quán)等原因不允許被移動而只能被置于固定的位置；2）相對于巨大的應(yīng)用數(shù)據(jù)量而言，數(shù)據(jù)中心間的網(wǎng)絡(luò)傳輸帶寬有限，而頻繁的跨數(shù)據(jù)中心數(shù)據(jù)傳輸意味著不可忽視的時間開銷；3）在

4、隸屬于不同服務(wù)提供商的云數(shù)據(jù)中心間進行數(shù)據(jù)傳輸往往將導(dǎo)致運行成本的增加。因此，如何通過對海量應(yīng)用數(shù)據(jù)進行合理布局，從而降低應(yīng)用執(zhí)行過程中的跨數(shù)據(jù)中心數(shù)據(jù)傳輸，成為了在云計算環(huán)境下部署執(zhí)行科學(xué)工作流應(yīng)用的關(guān)鍵問題。
　　 針對云計算環(huán)境下科學(xué)工作流的數(shù)據(jù)布局問題，本文首先對問題進行了描述、分析和建模，并基于此將科學(xué)工作流應(yīng)用分為兩類：一類是相對穩(wěn)定型科學(xué)工作流應(yīng)用，其特點是流程步驟和應(yīng)用數(shù)據(jù)的變更相對較少；一類是相對動態(tài)型科學(xué)工作

5、流應(yīng)用，其特點是流程步驟和應(yīng)用數(shù)據(jù)的變更相對頻繁。之后，本文針對上述兩類科學(xué)工作流應(yīng)用分別提出了兩種不同的數(shù)據(jù)布局策略。其中針對相對穩(wěn)定型科學(xué)工作流應(yīng)用，我們提出了基于遺傳算法思想的全局?jǐn)?shù)據(jù)布局策略；針對相對動態(tài)型科學(xué)工作流應(yīng)用，我們提出了基于貪婪算法的動態(tài)數(shù)據(jù)布局策略。前者側(cè)重于數(shù)據(jù)布局的全局性和穩(wěn)定性，以全局最優(yōu)為目標(biāo)來進行數(shù)據(jù)布局；后者則側(cè)重于數(shù)據(jù)布局的動態(tài)性和靈活性，旨在應(yīng)對流程步驟和生成數(shù)據(jù)的不確定性。上述兩種數(shù)據(jù)布局策略，能

6、夠在保證數(shù)據(jù)布局有效性的基礎(chǔ)上減少應(yīng)用執(zhí)行過程中的跨數(shù)據(jù)中心數(shù)據(jù)傳輸次數(shù)和由此導(dǎo)致的時間開銷，從而降低開銷并節(jié)約成本。
　　 本文通過建立云計算模式下分布式數(shù)據(jù)中心的模擬環(huán)境，對上述兩種數(shù)據(jù)布局策略與其它同類數(shù)據(jù)布局策略從數(shù)據(jù)布局方案所對應(yīng)的跨數(shù)據(jù)中心數(shù)據(jù)傳輸次數(shù)、數(shù)據(jù)傳輸時間開銷等多個角度進行了對比分析。實驗結(jié)果顯示，與同類數(shù)據(jù)布局策略相比，本文所提出的兩種數(shù)據(jù)布局策略具有較好的綜合性能，其中在降低科學(xué)工作流應(yīng)用執(zhí)行過程中的跨