基于Hadoop的電商離線(xiàn)數(shù)據(jù)挖掘系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著數(shù)據(jù)呈現(xiàn)爆炸式的增長(zhǎng)，對(duì)數(shù)據(jù)的處理也日益重要。繼云計(jì)算發(fā)展后的又一次引領(lǐng)全球的技術(shù)變革，大數(shù)據(jù)的概念不斷的深入到社會(huì)生活的各個(gè)角落。隨著大數(shù)據(jù)實(shí)踐的不斷深入，以Hadoop平臺(tái)為核心的大數(shù)據(jù)處理技術(shù)也得到了長(zhǎng)足的發(fā)展和更新，Hadoop的生態(tài)圈也日趨豐富，為不同場(chǎng)景和不同的功能需求提供了豐富的工具。電商行業(yè)隨著業(yè)務(wù)的不斷發(fā)展，其積累的數(shù)據(jù)也越來(lái)越重要，特別是在規(guī)模不斷發(fā)展的情況。如何處理好目前平臺(tái)所存儲(chǔ)的訂單和倉(cāng)庫(kù)數(shù)據(jù)成為電商行業(yè)的

2、重要問(wèn)題，也受到各大電商行業(yè)的公司越來(lái)越關(guān)注大數(shù)據(jù)的發(fā)展和使用，利用大數(shù)據(jù)的驅(qū)動(dòng)力，使其成為公司的新的增長(zhǎng)突破點(diǎn)和核心競(jìng)爭(zhēng)力。
　　本文主要研究電商離線(xiàn)數(shù)據(jù)挖掘系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，在深入對(duì)Hadoop大數(shù)據(jù)處理平臺(tái)的分析下，提出了基于Hadoop平臺(tái)的電商離線(xiàn)數(shù)據(jù)處理系統(tǒng)的系統(tǒng)方案。此方案主要利用HDFS作為海量數(shù)據(jù)的存儲(chǔ)系統(tǒng)，同時(shí)利用Hadoop提供的MapReduce計(jì)算框架做為數(shù)據(jù)計(jì)算模式。解決數(shù)據(jù)的存儲(chǔ)和計(jì)算模型后，著重研究

3、了Hadoop的數(shù)據(jù)處理模型，為電商離線(xiàn)數(shù)據(jù)挖掘系統(tǒng)選擇了合適業(yè)務(wù)的數(shù)據(jù)處理模型。
　　本文的電商離線(xiàn)數(shù)據(jù)挖掘系統(tǒng)在詳細(xì)的需求分析下，提出了基于Hadoop數(shù)據(jù)處理平臺(tái)的系統(tǒng)架構(gòu)。電商離線(xiàn)數(shù)據(jù)挖掘系統(tǒng)主要分為七個(gè)主要的模塊:數(shù)據(jù)轉(zhuǎn)換存儲(chǔ)模塊、數(shù)據(jù)ETL模塊、數(shù)據(jù)視圖展現(xiàn)模塊、數(shù)據(jù)計(jì)算任務(wù)流管理模塊、平臺(tái)監(jiān)控模塊。本文對(duì)這七個(gè)主要模塊進(jìn)行了詳細(xì)的設(shè)計(jì)和實(shí)現(xiàn)。最后基于此數(shù)據(jù)挖掘系統(tǒng)完成了某電商公司的訂單數(shù)據(jù)的ETL和入庫(kù)，并在此基礎(chǔ)上