基于大數(shù)據(jù)的推薦算法研究.pdf

1、隨著信息技術(shù)和互聯(lián)網(wǎng)的迅猛發(fā)展，人們進入了信息超載的時代。推薦系統(tǒng)是一個解決信息超載問題的有效工具，它根據(jù)用戶的歷史行為等記錄，對用戶的興趣進行建模，然后利用創(chuàng)建的用戶興趣模型進行個性化推薦，把用戶感興趣的信息、產(chǎn)品等推薦給用戶。協(xié)同過濾是推薦系統(tǒng)中采用最為廣泛也是最為成功的推薦技術(shù)。針對協(xié)同過濾技術(shù)效果依賴于一個精確的相似度測度方法且其可伸縮性較差，不能處理大數(shù)據(jù)的問題，本文提出基于項目層次結(jié)構(gòu)的推薦算法，并結(jié)合Hadoop技術(shù)實現(xiàn)矩

2、陣分解算法。主要工作如下:
　　1)改進衡量相似度的余弦距離和皮爾遜相關(guān)系數(shù)的計算公式，避免計算目標(biāo)用戶與所有用戶的相似度，從而避免了在整個用戶空間中搜索最相近的K個用戶。本文引入倒排索引數(shù)據(jù)結(jié)構(gòu)，使查找目標(biāo)用戶最近鄰的計算復(fù)雜度大大降低。實驗表明，在確保與改進前最近鄰結(jié)果一致的情況下，改進后的相似度計算公式能大大縮減查找目標(biāo)用戶最近鄰的時間，大大提高推薦算法處理大數(shù)據(jù)的能力。
　　2)提出了一種基于項目層次相似度的協(xié)同過濾

3、算法。利用用戶給部分項目標(biāo)注的標(biāo)簽和項目類別進行自動擴展，建立所有項目的層次結(jié)構(gòu)，然后利用建立的項目標(biāo)簽層次結(jié)構(gòu)計算項目之間的相似性。實驗表明，與傳統(tǒng)的協(xié)同過濾算法比較，本文提出的基于項目層次相似度的協(xié)同過濾算法能夠顯著提高推薦系統(tǒng)處理大數(shù)據(jù)的能力，并且可以獲得更優(yōu)的RMSE效果。
　　3)結(jié)合矩陣分解梯度下降算法的近似算法和MapReduce分布式計算框架，設(shè)計實現(xiàn)了一種基于MapReduce的矩陣分解推薦算法。實現(xiàn)矩陣分解算法