基于hadoop應(yīng)用的營銷活動(dòng)案研究

1、電腦編程技巧與維護(hù)基于Hadoop應(yīng)用的營銷活動(dòng)案研究王歡美(亞信聯(lián)創(chuàng)科技(成都)有限公司，武漢430014)摘要：隨著電信行業(yè)的迅速發(fā)展，數(shù)據(jù)源呈現(xiàn)多樣化、多渠道的趨勢(shì)，存儲(chǔ)的數(shù)據(jù)達(dá)到PB級(jí)別，傳統(tǒng)意義上的數(shù)據(jù)倉庫已經(jīng)無法應(yīng)對(duì)大數(shù)據(jù)激增的挑戰(zhàn)。Hadoop的應(yīng)運(yùn)而生帶來新的希望，以低廉的成本，通過分布式集群架構(gòu)使傳統(tǒng)的數(shù)據(jù)倉庫不能解決的非結(jié)構(gòu)化數(shù)據(jù)問題得到很好的處理，深度挖掘現(xiàn)有支撐系統(tǒng)沉淀下來的信息，進(jìn)行適當(dāng)抽取，助力業(yè)務(wù)系統(tǒng)的進(jìn)一

2、步發(fā)展，提升用戶的體驗(yàn)和感知，促進(jìn)整個(gè)電信產(chǎn)業(yè)鏈的共贏。關(guān)鍵詞：Hadoop文件系統(tǒng)；HDFS文件系統(tǒng)；MapReduce模型；Hive架構(gòu)；營銷活動(dòng)TheResearchofMarketingactivityCaseBasedontheHadoopWANGHuanmei(Asiainfo—Linkage，Wuhan430014，China)Abstract：Witlltherapiddevelopmentofthetelecommun

3、icationsindustry，thedatasourcearediversified，multi—channeltrend，thestoreddatauptothelevelofPB，thedatawarehouseinthetraditionalsensehavebeenunabletodealwithlargedatasurgechallengeHadoopemergedasthetimesrequirebroughtnewho

4、petoUS，withthelowcost，thedistributedclusterarchitecturemakesthetraditionalproblemsofunstructureddatawarehouseiSsolvedwel1tIledepthofexcavationsuppo~systemtosettletheexistinginformation，appropriatelyextracted，thefurtherde

5、velopmentofbusinesssystem，improvingtheuserexperienceandperception，finallypromotingthetelecomindustrychainandwin—winKeywords：Hadoopfilesystem；HDFSfilesystem；MapReducemodel；Hiveframework；Marketingactivityl引言隨著互聯(lián)網(wǎng)和電信行業(yè)的快速發(fā)展

6、，人們之間的交流變得信息化、頻繁化、多樣化。營銷活動(dòng)案就是通過分析已經(jīng)產(chǎn)生的數(shù)據(jù)信息提出新的活動(dòng)方案，促進(jìn)電信業(yè)務(wù)的發(fā)展。如何能從大量的信息中抽取有價(jià)值的信息，為客戶提供更好的服務(wù)。已經(jīng)成為市場(chǎng)營銷部門的核心問題。介于Hadoop的分布式處理機(jī)制能高效實(shí)現(xiàn)大數(shù)據(jù)量的處理，抽取有用數(shù)據(jù)，為營銷活動(dòng)的進(jìn)行提供有力的支撐。Hadoop和Hive中的幾個(gè)重要的概念和思想介紹如下：MapReduce編程模型是Google公司為了在廉價(jià)的計(jì)算機(jī)集群

7、上處理以P數(shù)量級(jí)的大數(shù)據(jù)集而提出的一個(gè)解決方案_l_。它的核心概念是把輸入的數(shù)據(jù)分成不同的邏輯塊，Map任務(wù)首先并行的對(duì)每一塊進(jìn)行單獨(dú)的處理：這些邏輯塊的處理結(jié)果會(huì)被重新組合成不同的排序的集合，這些集合最后由Reduce任務(wù)進(jìn)行處理：HDFS是專門為MapReduce任務(wù)所設(shè)計(jì)的文件系統(tǒng)。MapReduce任務(wù)從HDFS文件系統(tǒng)中讀人大數(shù)量級(jí)的數(shù)據(jù)進(jìn)行處理，處理完后把輸出寫回到HDFS文件系統(tǒng)[21。Hive是建立在Hadoop上的數(shù)據(jù)

8、倉庫基礎(chǔ)架構(gòu)，它提供一系列的根據(jù)，可以進(jìn)行數(shù)據(jù)提取轉(zhuǎn)化加載(ETL)，它是一種可以存儲(chǔ)、查詢和分析存儲(chǔ)在Hadoop的大規(guī)模數(shù)據(jù)的機(jī)制日。2基于Hadoop應(yīng)用的營銷活動(dòng)案的數(shù)據(jù)倉庫體系結(jié)構(gòu)營銷活動(dòng)案的數(shù)據(jù)倉庫設(shè)計(jì)是基于Hadoop分布式的文件系統(tǒng)目的是實(shí)現(xiàn)營銷活動(dòng)案信息數(shù)據(jù)的分布式存儲(chǔ)，以滿足不斷增長的客戶信息的備份等需求。營銷活動(dòng)案數(shù)據(jù)倉庫：20131630氅舔_l蛐確溆鶿與罐《弗礦體系的結(jié)構(gòu)有以下幾部分組成：Hadoop集群，元數(shù)

9、據(jù)存儲(chǔ)集群，Web服務(wù)器，日志服務(wù)器。如圖1所示。一數(shù)據(jù)獲取一數(shù)據(jù)獲取——戶信息數(shù)據(jù)廣_『————]數(shù)據(jù)倉庫廣———T]數(shù)據(jù)應(yīng)用(營銷)圖1營銷活動(dòng)案數(shù)據(jù)倉庫體系結(jié)構(gòu)21文件存儲(chǔ)客戶信息的文件存儲(chǔ)是基于Hadoop的分布式文件系統(tǒng)fHDFS)，HDFS是分布式計(jì)算的存儲(chǔ)基礎(chǔ)，可以部署在普通的PCServer上，存放超大文件(幾百M(fèi)B甚至是幾百PB)，采用流式處理數(shù)據(jù)。因此適合信息量大，一次寫入多次讀取的存取方式。Hadoop生產(chǎn)集群部署