基于工作流的科學大數(shù)據(jù)查詢處理技術研究.pdf

1、近年來，隨著科學技術的快速發(fā)展，科學實驗儀器和科學觀測儀器的精度不斷得到提高，領域科學家得到的可以用于科學分析的數(shù)據(jù)，其規(guī)模是不斷變大；同時，由于科學分析的深度的不斷推進，科學分析計算的規(guī)模也在不斷的變大。如何提高領域學者進行科學大數(shù)據(jù)查詢的效率是一個非常有研究意義的工作。
　　本文構建了一個輕量級的云平臺，并在其上搭建了一個可以用于科學數(shù)據(jù)查詢和管理的 SciDB集群。在此基礎上，本文的主要研究內容包括：（1）科學大數(shù)據(jù)的存儲和

2、管理技術。針對目前國內外科學大數(shù)據(jù)查詢處理的研究現(xiàn)狀，本論文通過研究MapReduce框架，以及現(xiàn)有的科學數(shù)據(jù)庫系統(tǒng)，提出使用SciDB作為科學大數(shù)據(jù)存儲和管理的工具。（2）科學數(shù)據(jù)庫數(shù)據(jù)加載技術。SciDB的數(shù)據(jù)加載響應時間隨著數(shù)據(jù)量的增加急劇增長，針對這一情況，本論文提出了一種新型的數(shù)據(jù)加載技術。（3）采用工作流的思想，簡化復雜查詢語句的書寫，并設計了一個簡單的基于工作流的科學數(shù)據(jù)查詢系統(tǒng)的原型系統(tǒng)。（4）針對基于SciDB的批量工