Hadoop技術(shù)在油氣生產(chǎn)物聯(lián)網(wǎng)中的應(yīng)用研究.pdf

1、在石油勘探行業(yè)中，伴隨著物聯(lián)網(wǎng)技術(shù)的不斷應(yīng)用，油氣開發(fā)環(huán)境和業(yè)務(wù)環(huán)境中產(chǎn)生了海量的數(shù)據(jù)。收集數(shù)據(jù)成本的逐漸降低和收集數(shù)據(jù)意識的不斷提高，使油田上積累了海量、多維度的油氣生產(chǎn)和管理數(shù)據(jù)。然而“海量的生產(chǎn)數(shù)據(jù)”與“匱乏的油田認(rèn)知”逐漸成為油田行業(yè)發(fā)展的瓶頸。
　　油氣生產(chǎn)非結(jié)構(gòu)化數(shù)據(jù)量龐大、類型眾多，主要包含各種沒有固定格式的基本業(yè)務(wù)數(shù)據(jù)體、生產(chǎn)成果文檔、生產(chǎn)報(bào)表及“四化”（模塊化建設(shè)、標(biāo)準(zhǔn)化設(shè)計(jì)、信息化提升、標(biāo)準(zhǔn)化采購）建設(shè)等數(shù)據(jù)，

2、數(shù)據(jù)量在6TB～8TB。當(dāng)前油氣生產(chǎn)數(shù)據(jù)量的與日俱增，大大超出了傳統(tǒng)數(shù)據(jù)庫的存儲范圍，常規(guī)的數(shù)據(jù)庫（如：MySQL、SQL Server、DB2等）存儲和數(shù)據(jù)處理方法遇到了瓶頸。Hadoop作為一種新興的分布式數(shù)據(jù)存儲和計(jì)算框架，具有高可靠性、高擴(kuò)展性、高效性和高容錯(cuò)性的特點(diǎn)，為存儲和處理海量油氣生產(chǎn)數(shù)據(jù)提供了新的思路。
　　因此，本文將Hadoop技術(shù)應(yīng)用于油氣生產(chǎn)物聯(lián)網(wǎng)中，設(shè)計(jì)并部署了Hadoop油氣生產(chǎn)數(shù)據(jù)存儲平臺，并基于歷

3、史生產(chǎn)數(shù)據(jù)改進(jìn)了油氣產(chǎn)量預(yù)測模型，具體工作重點(diǎn)如下：
　　首先，對Hadoop研究現(xiàn)狀和技術(shù)優(yōu)勢進(jìn)行分析歸納，明確油氣生產(chǎn)數(shù)據(jù)在存儲方面遇到的困難，從而確定將Hadoop技術(shù)應(yīng)用到油氣生產(chǎn)中用于可靠存儲、高效查詢和數(shù)據(jù)挖掘分析。
　　其次，針對油田現(xiàn)場生產(chǎn)數(shù)據(jù)具有數(shù)據(jù)結(jié)構(gòu)復(fù)雜，數(shù)據(jù)規(guī)模龐大，數(shù)據(jù)間關(guān)聯(lián)性大等特點(diǎn)，結(jié)合Hadoop技術(shù)，本文設(shè)計(jì)了一種基于Hadoop技術(shù)的油氣生產(chǎn)數(shù)據(jù)存儲平臺，實(shí)現(xiàn)了不同種類數(shù)據(jù)在Hadoop平

4、臺和傳統(tǒng)數(shù)據(jù)庫中共享交互，有利于在日后生產(chǎn)中對數(shù)據(jù)做深入的分析和挖掘。對于非結(jié)構(gòu)化數(shù)據(jù)的存儲設(shè)計(jì)，利用基于HDFS的HBase作為存儲數(shù)據(jù)庫；對于結(jié)構(gòu)化數(shù)據(jù)的存儲設(shè)計(jì)，采用了Oracle數(shù)據(jù)庫作為離線數(shù)據(jù)倉庫，提供離線的歷史數(shù)據(jù)分析。而對于需要被實(shí)時(shí)查詢的生產(chǎn)數(shù)據(jù)，則通過Redis內(nèi)存數(shù)據(jù)庫完成。在理論設(shè)計(jì)的基礎(chǔ)上，實(shí)現(xiàn)了Hadoop油氣生產(chǎn)數(shù)據(jù)存儲平臺的部署，并且對平臺的性能進(jìn)行測試，說明將Hadoop技術(shù)應(yīng)用到油氣生產(chǎn)物聯(lián)網(wǎng)中是高效