11499.基于hadoop的氣溫數(shù)據(jù)組織及時空分異特征提取方法研究

1、NanjingNormalUniversityADissertationSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofScience園StudyonMeteorologicalDataOrganizationMethodandSpatialtemporalDifferentiationCharacteristicsExtractionMethodb

2、asedontheHadoopCandidate：ChengBinbinCollege：CollegeofGeographicalScienceSupervisor：ProfSunZaihongSpeciality：CartologyandGISDateFinished：May2015DateApproved：May2015摘要摘要氣溫要素是氣象研究的熱點對象，深入了解氣溫要素的變化規(guī)律有助于提高氣象預(yù)報精度，對指導(dǎo)農(nóng)業(yè)生產(chǎn)、生態(tài)治理也

3、具有重要意義。隨著氣象事業(yè)信息化程度的不斷提高，氣象科研和管理活動中采集并積累了大量氣象信息資料。氣象信息種類繁多，格式迥異、管理分散等特點，極大阻礙了公共氣象信息服務(wù)的發(fā)展。目前對氣象數(shù)據(jù)的研究存在海量氣象數(shù)據(jù)處理效率低，多種研究技術(shù)的融合程度低等問題，無法滿足氣象服務(wù)的時效性和內(nèi)容豐富性的要求。此外還缺乏針對于氣溫日變化的時空分異特征的大尺度、多維度的研究。Hadoop這一開源的云計算框架為海量氣象數(shù)據(jù)的研究提供了新的手段。基于此，

4、本文在已有的氣象學(xué)理論研究基礎(chǔ)上，以Hadoop和GIS為技術(shù)支撐，引入云計算和地理學(xué)中相關(guān)的數(shù)據(jù)分析、處理方法，顧及地域?qū)鉁氐挠绊?，以美國國家氣候?shù)據(jù)中心(以下簡稱NCDC)20092013五年的全球地面小時觀測數(shù)據(jù)為數(shù)據(jù)源，進(jìn)行數(shù)據(jù)組織方法的設(shè)計和氣溫日變化時空分異特征的提取。主要研究內(nèi)容和研究成果如下：(1)針對氣溫觀測日志數(shù)據(jù)的特點，基于HBase研究海量氣象時空數(shù)據(jù)組織方法。研究并設(shè)計了氣象數(shù)據(jù)的表結(jié)構(gòu)，索引機制及入庫方式，

5、并提出了HBase運行參數(shù)的優(yōu)化方案。通過引入So|r分布式搜索引擎的索引機制解決了HBase不支持二級輔助索引的問題。(2)借助Hadoop平臺和GIS平臺，研究氣溫日變化時空分異特征提取的方法。基于MapReduce編程模型研究并設(shè)計了氣溫因子提取、統(tǒng)計，氣溫日變化曲線模擬的分布式算法。在此基礎(chǔ)上，借助GIS地學(xué)分析方法研究并設(shè)計了氣溫日變化空間影響因素提取、計算方法。(3)對文中提出的氣象數(shù)據(jù)組織方法、氣溫日變化時空分異特征提取方