基于Hadoop和Hive海量數(shù)據(jù)計(jì)算的店鋪統(tǒng)計(jì)系統(tǒng).pdf

1、店鋪統(tǒng)計(jì)系統(tǒng)是為淘寶網(wǎng)店賣家用戶所打造的專業(yè)店鋪數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)，該課題的研究目的是，通過研究用戶的瀏覽行為、賣家的銷售情況，以及賣家的廣告投入情況來為賣家做數(shù)據(jù)分析。通過店鋪統(tǒng)計(jì)系統(tǒng)，賣家可以查看到每一階段到你店鋪里的客人的多少，一天或者多天的同行業(yè)支付寶的成交量對(duì)比，直通車廣告效果數(shù)據(jù)等等。依靠這些數(shù)據(jù)，賣家可以掌握店鋪里的實(shí)際銷售情況，及時(shí)調(diào)整店鋪里的商品，使自己的店鋪能夠吸引到更多的買家，獲得更大的收益。
　　店鋪統(tǒng)計(jì)系統(tǒng)其根

2、本是一個(gè)數(shù)據(jù)展現(xiàn)的系統(tǒng)，在淘寶網(wǎng)的數(shù)據(jù)平臺(tái)中有海量的基礎(chǔ)數(shù)據(jù)，這些海量的數(shù)據(jù)是無法用Mysql或者Oracle進(jìn)行計(jì)算。我們依托與Hadoop和Hive進(jìn)行數(shù)據(jù)計(jì)算，利用最基礎(chǔ)的數(shù)據(jù)來計(jì)算出利于賣家分析店鋪的數(shù)據(jù)指標(biāo)，通過這些數(shù)據(jù)任務(wù)的調(diào)度系統(tǒng)，以及對(duì)這個(gè)分布式系統(tǒng)的監(jiān)控系統(tǒng)，再把這些數(shù)據(jù)裝載到Mysql中，供前端頁(yè)面展現(xiàn)使用。
　　本課題研究的主要內(nèi)容是對(duì)于淘寶網(wǎng)海量的基礎(chǔ)數(shù)據(jù)，利用Hadoop進(jìn)行計(jì)算，用Hive和Map/Re

3、duce編程思想來進(jìn)行海量數(shù)據(jù)的計(jì)算，從而解決了傳統(tǒng) Mysql或者 Oracle無法解決的海量數(shù)據(jù)的計(jì)算問題。使用敏捷開發(fā)的理論思想，從海量數(shù)據(jù)和一些日志信息挖掘出有用的數(shù)據(jù)，為賣家提供數(shù)據(jù)經(jīng)營(yíng)分析的指標(biāo)，為賣家營(yíng)銷指明方向。全面降低數(shù)據(jù)作為生產(chǎn)要素的成本，建立賣家數(shù)據(jù)化運(yùn)營(yíng)思維模式，成為淘寶的核心競(jìng)爭(zhēng)力。
　　本系統(tǒng)已經(jīng)正式用于賣家的數(shù)據(jù)分析，從店鋪瀏覽量，銷售分析，熱圖和直通車廣告的效果來為賣家進(jìn)行數(shù)據(jù)指導(dǎo)，該系統(tǒng)是基于淘寶