娛樂(lè)消費(fèi)大數(shù)據(jù)分析系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、當(dāng)今社會(huì)，人們的生活水平逐漸升高，在消費(fèi)者消費(fèi)的同時(shí)，會(huì)留下相應(yīng)的足跡，也會(huì)產(chǎn)生相應(yīng)的記錄。由于人們每天消費(fèi)量巨大，會(huì)產(chǎn)生大量消費(fèi)記錄。若想從海量數(shù)據(jù)中快速分析出用戶最關(guān)心的消費(fèi)品類和相關(guān)行為，用傳統(tǒng)的分析方式已是很難滿足需求。傳統(tǒng)方法耗費(fèi)時(shí)間長(zhǎng)，難以實(shí)現(xiàn)預(yù)求效果。這些消費(fèi)記錄中包含了顧客消費(fèi)的許多消費(fèi)信息，如果通過(guò)特定的分析工具去分析這些數(shù)據(jù)，則會(huì)從數(shù)據(jù)中分析出許多有效信息，包括消費(fèi)者的消費(fèi)習(xí)慣、商品的銷(xiāo)售情況等。
　　現(xiàn)今流行

2、的計(jì)算框架有Hadoop計(jì)算框架和Spark計(jì)算框架。其主要針對(duì)海量數(shù)據(jù)進(jìn)行分析和處理，本文則是使用Hadoop中的HDFS和Spark計(jì)算框架對(duì)廣大消費(fèi)者的娛樂(lè)消費(fèi)記錄進(jìn)行分析，得出其娛樂(lè)消費(fèi)的實(shí)際情況。本文首先對(duì)大數(shù)據(jù)處理分析系統(tǒng)研究現(xiàn)狀做了綜述，介紹了相關(guān)的理論和技術(shù);其次對(duì)系統(tǒng)需求進(jìn)行了具體分析，從中得出系統(tǒng)的總體設(shè)計(jì)架構(gòu)，系統(tǒng)主要功能包括聚合統(tǒng)計(jì)、隨機(jī)抽取、Top10熱門(mén)品類和Top10活躍session;然后，對(duì)獲取數(shù)據(jù)算法