基于分布式環(huán)境的推薦算法研究.pdf

1、伴隨著Internet和信息技術(shù)的蓬勃發(fā)展，越來越多的信息被呈現(xiàn)至用戶面前，造成了信息過載的問題。推薦系統(tǒng)是解決這個問題的有效途徑之一，推薦系統(tǒng)根據(jù)用戶的興趣偏好、歷史行為、地理位置、生活場景等信息，建立模型，進(jìn)行個性化推薦。協(xié)同過濾推薦算法是應(yīng)用最為廣泛的一種推薦算法，但其仍然存在冷啟動、數(shù)據(jù)稀疏等問題。傳統(tǒng)的協(xié)同過濾算法面對海量數(shù)據(jù)也出現(xiàn)了可拓展性問題，分布式計(jì)算框架的出現(xiàn)為該問題的解決提供了新思路。基于內(nèi)存的開源分布式計(jì)算框架Sp

2、ark，是近幾年大數(shù)據(jù)實(shí)時處理領(lǐng)域的研究熱點(diǎn)和重點(diǎn)。本文對傳統(tǒng)Slope One算法進(jìn)行了研究，針對其沒有考慮用戶興趣變化、沒有考慮用戶興趣差異、沒有考慮項(xiàng)目之間相似性等問題進(jìn)行改進(jìn)，同時基于Spark分布式平臺，對改進(jìn)算法進(jìn)行了分布式設(shè)計(jì)與實(shí)現(xiàn)，提升算法的可拓展性和執(zhí)行效率。主要工作包括以下幾方面：
　　1)分析了傳統(tǒng)Slope One算法的基本原理、詳細(xì)算法步驟和算法存在的問題。
　　2)基于Spark平臺進(jìn)行了Cano

3、py-Kmeans算法的分布式設(shè)計(jì)與實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果證明，分布式Canopy-Kmeans算法比傳統(tǒng)分布式Kmeans算法的聚類效果更好。
　　3)從三個問題切入，對原始Slope One算法進(jìn)行改進(jìn)：首先，針對用戶興趣隨時間變化的問題，使用興趣衰減函數(shù)修正評分，同時使用興趣轉(zhuǎn)移強(qiáng)度修正評分預(yù)測公式；然后，針對不同用戶之間興趣差異性的問題，使用Canopy-Kmeans聚類算法將興趣相似的用戶聚集；最后，針對不同項(xiàng)目之間的相似度問題