基于Hadoop的電商數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)和Internet技術(shù)的發(fā)展，以及各行業(yè)業(yè)務(wù)操作流程的自動(dòng)化，行業(yè)應(yīng)用所產(chǎn)生的數(shù)據(jù)呈爆炸性增長(zhǎng)，數(shù)據(jù)動(dòng)輒以TB計(jì)算。這些數(shù)據(jù)及產(chǎn)生的信息如實(shí)的記錄著企業(yè)運(yùn)作的狀況。面對(duì)這些海量的數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)分析工具存在很多缺陷，無(wú)法有效地進(jìn)行處理分析。數(shù)據(jù)格式的多樣性，數(shù)據(jù)的復(fù)雜性導(dǎo)致數(shù)據(jù)融合困難，單機(jī)存儲(chǔ)存儲(chǔ)量有限，且查詢效率低，同時(shí)基于單機(jī)處理的數(shù)據(jù)分析有很大的局限性，它只能處理小規(guī)模的、規(guī)范化的數(shù)據(jù)，運(yùn)行速度慢，很難進(jìn)

2、行深層次的數(shù)據(jù)挖掘。因此人們不斷探索新的工具來(lái)分析企業(yè)的運(yùn)營(yíng)規(guī)律，為決策人員提供有價(jià)值的信息。隨著以互聯(lián)網(wǎng)為代表的信息技術(shù)深度發(fā)展，傳統(tǒng)機(jī)器的軟硬件不足以支持如此龐大的數(shù)據(jù)量的存儲(chǔ)、管理及分析能力，因而專門應(yīng)對(duì)大數(shù)據(jù)的分布式處理技術(shù)應(yīng)運(yùn)而生。如今業(yè)界大數(shù)據(jù)處理的主流平臺(tái)非Hadoop莫屬。Hadoop自推出以來(lái)因其在大數(shù)據(jù)領(lǐng)域的廣泛實(shí)用性，很快在工商業(yè)界得到普及應(yīng)用，同時(shí)得到了學(xué)術(shù)界的廣泛研究。在短短的幾年中，Hadoop很快成為到目前

3、為止最為成功、最廣泛使用的大數(shù)據(jù)處理主流技術(shù)和系統(tǒng)平臺(tái)，并且成為一種大數(shù)據(jù)處理事實(shí)上的標(biāo)準(zhǔn)，得到了各行業(yè)大量的進(jìn)一步探索與研究應(yīng)用，尤其是在互聯(lián)網(wǎng)行業(yè)得到了廣泛的應(yīng)用。
　　由于傳統(tǒng)的數(shù)據(jù)分析使用在單機(jī)系統(tǒng)上的局限性，當(dāng)處理大量數(shù)據(jù)時(shí)，會(huì)顯著的影響系統(tǒng)性能。因此為解決這一問(wèn)題，本文在深入分析Hadoop大數(shù)據(jù)平臺(tái)的相關(guān)技術(shù)下，提出了基于Hadoop的電商數(shù)據(jù)分析的系統(tǒng)方案，幫助企業(yè)利用有效的數(shù)據(jù)分析方法更好地作出商務(wù)決策。此方案利

4、用Flume采集用戶在電商網(wǎng)站上產(chǎn)生的海量用戶行為數(shù)據(jù)，并存儲(chǔ)到HDFS分布式文件系統(tǒng)上，以MapReduce計(jì)算框架為數(shù)據(jù)處理方式，利用Hive從不同維度對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，最后本文提出了一種改進(jìn)的K-means聚類和協(xié)同過(guò)濾混合推薦算法對(duì)用戶進(jìn)行商品推薦。本文根據(jù)需求分析對(duì)系統(tǒng)架構(gòu)和業(yè)務(wù)流程進(jìn)行了詳細(xì)設(shè)計(jì)，將系統(tǒng)分為四個(gè)模塊:數(shù)據(jù)收集模塊、數(shù)據(jù)分析模塊、數(shù)據(jù)展示模塊及數(shù)據(jù)應(yīng)用模塊。并對(duì)這四個(gè)模塊進(jìn)行了詳細(xì)的設(shè)計(jì)和實(shí)現(xiàn)。最后基于此系統(tǒng)

5、完成了某電商公司日志文件分析和商品評(píng)論分析，同時(shí)在此基礎(chǔ)上進(jìn)行了用戶推薦的測(cè)試。通過(guò)獲得的數(shù)據(jù)分析結(jié)果，可以幫助公司對(duì)網(wǎng)站的應(yīng)用有一個(gè)比較好的了解，并且更加詳細(xì)地了解用戶的行為習(xí)慣，從而找出網(wǎng)站、推廣渠道等營(yíng)銷環(huán)境存在的問(wèn)題，有助于營(yíng)銷的精準(zhǔn)化，提升公司的效益。
　　本文介紹商品評(píng)論的分析挖掘目標(biāo)和流程，對(duì)商品評(píng)論數(shù)據(jù)進(jìn)行可視化分析，并提出了基于分詞法和評(píng)分的方法用于評(píng)論數(shù)據(jù)情感分析。且提出了一種改進(jìn)的K-means聚類和協(xié)同過(guò)濾