基于Storm的分布式在線推薦系統(tǒng).pdf

1、數(shù)字圖書館作為知識(shí)和信息的重要載體，受到世界各國的關(guān)注。隨著數(shù)字圖書館中資源規(guī)模的不斷擴(kuò)大，如何快速獲取用戶需要的資源成為一大難題，而個(gè)性化推薦是解決這一問題的重要方法。數(shù)字圖書館的用戶行為構(gòu)成流式數(shù)據(jù)，處理流式數(shù)據(jù)時(shí)算法必須具備高性能和實(shí)時(shí)性，此時(shí)傳統(tǒng)的協(xié)同過濾推薦算法已無法勝任。本文主要研究個(gè)性化推薦技術(shù)，并提出一種基于矩陣分解的分布式在線推薦算法。該算法能夠?qū)崟r(shí)處理流式數(shù)據(jù)，及時(shí)為用戶推薦感興趣的書籍。
　　本文主要工作如下

2、:
　　第一、設(shè)計(jì)并構(gòu)建日志收集系統(tǒng)，用于收集CADAL閱讀平臺(tái)中多種服務(wù)所產(chǎn)生的流式數(shù)據(jù)，集中化處理系統(tǒng)日志，并為推薦系統(tǒng)提供數(shù)據(jù)來源。
　　第二、利用Storm分布式實(shí)時(shí)計(jì)算系統(tǒng)和數(shù)據(jù)分塊技術(shù)，實(shí)現(xiàn)一個(gè)分布式隨機(jī)梯度下降算法用于在線推薦系統(tǒng)。實(shí)驗(yàn)顯示，該算法在保證推薦效果的前提下，能夠顯著提高數(shù)據(jù)處理能力，提升計(jì)算性能。
　　第三、通過計(jì)算物品相似度并利用用戶歷史閱讀記錄確定候選推薦集，并根據(jù)矩陣分解模塊的訓(xùn)練結(jié)果