基于大數(shù)據(jù)技術(shù)的滑坡災(zāi)害評(píng)估模型的優(yōu)化及實(shí)現(xiàn).pdf

1、滑坡，屬于一種高發(fā)并且?guī)韲?yán)重危害的地質(zhì)災(zāi)害，滑坡帶來的危害包括巨額的經(jīng)濟(jì)損失以及慘痛的人員傷亡，并且影響社會(huì)的安定?；聻?zāi)害在我國(guó)分布范圍較廣，如四川、貴州等地的地質(zhì)構(gòu)造復(fù)雜多樣，是滑坡災(zāi)害的高發(fā)地區(qū)。近幾年來，隨著人類活動(dòng)的大規(guī)模進(jìn)行，崩塌滑坡泥石流等地質(zhì)災(zāi)害發(fā)生頻繁，災(zāi)害的預(yù)防工作尤為重要。因此，提供更加準(zhǔn)確的方法來進(jìn)行滑坡災(zāi)害的防治，已經(jīng)是非常急迫的任務(wù)。當(dāng)災(zāi)害發(fā)生時(shí)，首要任務(wù)是做出正確且快速的應(yīng)急決策，對(duì)于災(zāi)害管理工作而言，如

2、何能對(duì)地質(zhì)災(zāi)害的發(fā)生及發(fā)展做出快速而準(zhǔn)確的評(píng)估工作，是一個(gè)亟待解決的問題，所以，研究如何提高地質(zhì)災(zāi)害評(píng)估的效率更具有研究?jī)r(jià)值和現(xiàn)實(shí)意義。
　　本文介紹了研究滑坡的意義、國(guó)內(nèi)外對(duì)于滑坡研究的進(jìn)展和現(xiàn)狀以及云平臺(tái)的相關(guān)知識(shí)和評(píng)估模型的基本理論。選取隨機(jī)森林模型作為實(shí)驗(yàn)?zāi)Ｐ?，選取山西省2000年以來的全省地貌、巖土體、地質(zhì)構(gòu)造、地震峰值加速度、坡度、降水量等1：50萬基礎(chǔ)資料，搭建了Hadoop大數(shù)據(jù)平臺(tái)，利用MapReduce并行編程

3、框架，通過此并行計(jì)算框架對(duì)模型進(jìn)行并行化設(shè)計(jì)，并對(duì)改進(jìn)后的模型進(jìn)行有效性驗(yàn)證等工作，實(shí)驗(yàn)得到以下結(jié)論：
　　1.在單節(jié)點(diǎn)上對(duì)模型改進(jìn)后的準(zhǔn)確性進(jìn)行驗(yàn)證。并行化改進(jìn)后的隨機(jī)森林模型精度相對(duì)于傳統(tǒng)的串行隨機(jī)森林模型的精度較高，說明改進(jìn)后的模型具有一定的可行性與實(shí)用性。
　　2.在Hadoop平臺(tái)上，在機(jī)器數(shù)目不同的情況下，進(jìn)行算法執(zhí)行時(shí)間的比較。當(dāng)選取的滑坡樣本數(shù)據(jù)的總量不變時(shí)，平臺(tái)機(jī)器數(shù)目增加，算法執(zhí)行時(shí)間減少，說明模型改進(jìn)后

4、的運(yùn)行效率提高。
　　3.進(jìn)而又考慮了不同的樣本總數(shù)，在運(yùn)行1臺(tái)、2臺(tái)、3臺(tái)機(jī)器的情況下實(shí)驗(yàn)效果：（1）樣本數(shù)據(jù)規(guī)模較小為Data1時(shí)，隨著服務(wù)器數(shù)量的增加，算法在運(yùn)行時(shí)間上相差并不大。這是因?yàn)樵贖adoop平臺(tái)上進(jìn)行并行計(jì)算時(shí)，多臺(tái)設(shè)備間要通信以及數(shù)據(jù)交換，而這一過程對(duì)時(shí)間效率的損耗很大，算法效率時(shí)有下降。（2）當(dāng)樣本數(shù)據(jù)規(guī)模較大時(shí)，將單機(jī)情況與1臺(tái)機(jī)器參與運(yùn)算進(jìn)行對(duì)比發(fā)現(xiàn)，這一過程曲線斜率最大，也就是說并行化以后的隨機(jī)森林模型

5、的運(yùn)行時(shí)間的顯著減小，說明模型效率明顯提高。（3）通過對(duì)比機(jī)器數(shù)目是1臺(tái)、2臺(tái)、3臺(tái)的情況發(fā)現(xiàn)，隨著機(jī)器數(shù)量的增加，改進(jìn)的隨機(jī)森林模型運(yùn)行時(shí)間確實(shí)逐漸下降，但曲線斜率也逐漸減小，說明機(jī)器的數(shù)目越多，算法效率越高，但與此同時(shí)設(shè)備間數(shù)據(jù)通信耗時(shí)也在增加，這也是曲線斜率逐漸變小的原因。（4）當(dāng)機(jī)器數(shù)目是2臺(tái)和3臺(tái)時(shí)，Data2， Data3，Data4樣本數(shù)據(jù)集的算法運(yùn)行時(shí)間相對(duì)Data1耗時(shí)更少。該現(xiàn)象說明，并行化的隨機(jī)森林模型更適用于大規(guī)