基于賦權(quán)評分和Dpark的分布式推薦系統(tǒng)研究與實(shí)現(xiàn).pdf

1、隨著各種社交網(wǎng)站的興起，用戶越來越頻繁地參與網(wǎng)絡(luò)互動(dòng)?；ヂ?lián)網(wǎng)上的信息不再只由網(wǎng)站編輯提供，用戶也開始提交各種信息。推薦系統(tǒng)的出現(xiàn)，使得用戶面對爆炸式增長的信息，不再盲目地查詢，而是由系統(tǒng)主動(dòng)向用戶推薦其可能感興趣的內(nèi)容。經(jīng)過多年研究與發(fā)展，協(xié)同過濾推薦算法已經(jīng)成為應(yīng)用實(shí)踐中，較為成熟的推薦技術(shù)。它的主要思想是利用已知用戶群的過往行為或評分來預(yù)測當(dāng)前目標(biāo)用戶可能感興趣的物品。本文提出的算法以傳統(tǒng)協(xié)同過濾推薦算法為基礎(chǔ)進(jìn)行改進(jìn)。
　　

2、傳統(tǒng)的協(xié)同過濾推薦算法中，用戶評分作為計(jì)算物品相似度的依據(jù)，進(jìn)而預(yù)測推薦結(jié)果。但是同一用戶對于不同物品的評分相同，不能充分說明這些物品之間具有相似性，并且會降低非流行物品在推薦過程中的影響力。為了提高物品相似度計(jì)算的可靠性，本文在傳統(tǒng)算法的基礎(chǔ)上，根據(jù)對應(yīng)評分人數(shù)所占物品評分總?cè)藬?shù)的比重，對物品評分進(jìn)行賦權(quán)，提出基于賦權(quán)評分的協(xié)同過濾推薦算法。實(shí)驗(yàn)結(jié)果表明，相比傳統(tǒng)的物品相似度計(jì)算方法，該方法充分考慮了非流行物品的影響力，有效地提高了推

3、薦的精準(zhǔn)度。
　　由于需要存儲并處理海量用戶數(shù)據(jù)，單機(jī)運(yùn)行環(huán)境已經(jīng)無法滿足上述要求。本文使用分布式計(jì)算框架Dpark來實(shí)現(xiàn)該推薦系統(tǒng)。Dpark將用戶數(shù)據(jù)存儲在多個(gè)文件服務(wù)器上。Dpark是新一代分布式計(jì)算框架，更加高效，并且提供了豐富的Python調(diào)用接口，方便程序使用迭代的方式進(jìn)行計(jì)算。
　　為了驗(yàn)證本文所設(shè)計(jì)算法的有效性以及所實(shí)現(xiàn)推薦系統(tǒng)的計(jì)算性能，本文使用MovieLens真實(shí)測試數(shù)據(jù)對推薦系統(tǒng)進(jìn)行了測試。實(shí)驗(yàn)結(jié)果表