電子商務(wù)協(xié)同過(guò)濾算法設(shè)計(jì)及實(shí)現(xiàn).pdf

1、隨著大數(shù)據(jù)時(shí)代的到來(lái)，數(shù)據(jù)呈爆發(fā)式增長(zhǎng)，如何從海量數(shù)據(jù)中深度挖掘隱藏的價(jià)值是一項(xiàng)研究意義深遠(yuǎn)的課題。在十三五規(guī)劃中，國(guó)家將大數(shù)據(jù)分析應(yīng)用列入國(guó)家戰(zhàn)略層面，數(shù)據(jù)即是價(jià)值。在大數(shù)據(jù)背景下，電子商務(wù)進(jìn)入了更加多元化的發(fā)展時(shí)代，網(wǎng)站后臺(tái)可以挖掘用戶的消費(fèi)或是瀏覽記錄，建立用戶消費(fèi)偏好模型，結(jié)合推薦技術(shù)將優(yōu)良的商品推薦給客戶，從而減少消費(fèi)者搜尋自己真正喜愛(ài)商品的時(shí)間和精力，最終緩解信息過(guò)載問(wèn)題。
　　在電子商務(wù)類網(wǎng)站中，每天都會(huì)產(chǎn)生海量的數(shù)

2、據(jù)，推薦系統(tǒng)需要挖掘分析的數(shù)據(jù)十分龐大。如何快速、準(zhǔn)確的響應(yīng)用戶需求，這就要求推薦系統(tǒng)具有強(qiáng)大的數(shù)據(jù)挖掘分析能力。本文結(jié)合數(shù)據(jù)挖掘的經(jīng)典算法——協(xié)同過(guò)濾算法，深入研究了基于用戶和基于項(xiàng)目的推薦算法，并針對(duì)這些算法存在的不足做了改進(jìn)，實(shí)現(xiàn)了組合推薦算法。主要研究工作包括以下幾個(gè)方面：
　?、傺芯苛藬?shù)據(jù)挖掘技術(shù)的概念、分類、數(shù)據(jù)挖掘的操作過(guò)程，分析了基于數(shù)據(jù)挖掘的Web數(shù)據(jù)挖掘的概要、種類與數(shù)據(jù)源，深入研究了協(xié)同過(guò)濾技術(shù)的基本概念、優(yōu)

3、勢(shì)以及協(xié)同過(guò)濾的原理及操作過(guò)程。
　?、谠敿?xì)研究基于用戶的協(xié)同過(guò)濾算法（User-based CF）和基于項(xiàng)目的協(xié)同過(guò)濾算法（Item-based CF），這兩種算法在推薦系統(tǒng)中使用最早也是應(yīng)用較為成功的推薦算法。在電子商務(wù)類網(wǎng)站中，User-based CF算法主要用于分析網(wǎng)站中用戶之間的關(guān)系，通過(guò)挖掘分析用戶之間的相似度來(lái)進(jìn)行商品推薦；Item-based CF算法可用于分析用戶的歷史消費(fèi)記錄。
　?、坩槍?duì)單一推薦算法的

4、性能缺陷，本文研究了矩陣分解改進(jìn)方法、基于內(nèi)容的優(yōu)化方法和三種混合推薦技術(shù)，包括多段組合混合推薦框架，加權(quán)型混合推薦技術(shù)以及瀑布型混合推薦技術(shù)。通過(guò)優(yōu)化這幾種混合推薦技術(shù)，可以有效的解決冷啟動(dòng)、稀疏性等問(wèn)題。本論文實(shí)現(xiàn)了基于傳統(tǒng)協(xié)同過(guò)濾算法、基于內(nèi)容的混合推薦。
　?、苎芯苛舜髷?shù)據(jù)處理框架Spark分布式計(jì)算框架，利用Spark的編程模型設(shè)計(jì)并實(shí)現(xiàn)了改進(jìn)后的協(xié)同過(guò)濾算法——混合推薦算法，結(jié)合Spark的并行化計(jì)算優(yōu)勢(shì)，提高算法的推