基于Spark的并行推薦算法的研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，信息技術(shù)與經(jīng)濟(jì)社會的交融碰撞，引發(fā)了數(shù)據(jù)迅猛增長，顯然我們已經(jīng)進(jìn)入了大數(shù)據(jù)時代。大數(shù)據(jù)時代在帶來資訊極度豐富的同時也使得用戶在面對海量數(shù)據(jù)時需要花費大量的時間去篩選自己真正需要的信息，信息超載的現(xiàn)象越來越明顯。協(xié)同過濾算法作為解決信息超載的關(guān)鍵技術(shù)之一，雖然被廣泛應(yīng)用于視頻音樂網(wǎng)站、電子商務(wù)等多個領(lǐng)域，但是仍然存在著預(yù)測準(zhǔn)確度不理想、冷啟動等問題。同時，面對日益增加的數(shù)據(jù)量，傳統(tǒng)的協(xié)同過濾算法出現(xiàn)了可擴(kuò)展性問題，無

2、法滿足海量數(shù)據(jù)的計算需求，分布式并行計算框架的出現(xiàn)為解決該問題提供了新的思路。Spark是新興的通用并行計算框架，借助其內(nèi)存計算的優(yōu)勢，成為近兩年大數(shù)據(jù)處理領(lǐng)域的研究重點。本文擬研究協(xié)同過濾算法，針對其預(yù)測準(zhǔn)確度不理想、冷啟動等問題進(jìn)行改進(jìn)，并將改進(jìn)算法在Spark平臺下進(jìn)行并行化設(shè)計與實現(xiàn)，從而進(jìn)一步解決算法的可擴(kuò)展性問題。主要工作包括以下幾個方面:
　　(1)分析了協(xié)同過濾中基于項目、Slope One算法的基本原理和具體計算

3、流程以及算法存在的不足。
　　(2)針對基于項目的協(xié)同過濾算法存在的項目冷啟動以及評分?jǐn)?shù)據(jù)稀疏情景下預(yù)測準(zhǔn)確度不高的問題，本文引入了項目屬性特征相似度。在計算項目相似度時將項目屬性特征相似度與評分相似度進(jìn)行組合，以此來減少數(shù)據(jù)稀疏對相似度計算的負(fù)面影響。實驗結(jié)果表明，本文的改進(jìn)算法相比傳統(tǒng)方法預(yù)測準(zhǔn)確度更高，并且在評分矩陣稀疏的情景下，效果更明顯。
　　(3)針對Slope One算法在預(yù)測評分時僅僅依賴用戶對不同項目的評分