基于Hadoop的聚類協(xié)同過濾推薦算法研究及應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)數(shù)據(jù)量不斷增加，已經(jīng)進入了大數(shù)據(jù)時代。大量的信息和商品同時呈現(xiàn)在用戶面前，使面臨一個嚴(yán)重的問題-信息過載，而個性化推薦是解決該問題一個有效的方法，協(xié)同過濾方法是目前在實際推薦系統(tǒng)中應(yīng)用最多的個性化推薦方法，它基于群體的偏好來為用戶提供推薦。傳統(tǒng)單機的協(xié)同過濾算法無論從效率上，還是從計算復(fù)雜度上都已無法滿足海量信息的處理需要，云計算技術(shù)的發(fā)展為推薦算法提供了新的研究方向。因此，可以考慮利用結(jié)合大數(shù)據(jù)技術(shù)來應(yīng)對算法

2、擴展性等問題。
　　本文對基于Hadoop大數(shù)據(jù)處理技術(shù)的聚類協(xié)同過濾推薦算法進行研究與實現(xiàn)，并對電影數(shù)據(jù)集進行應(yīng)用分析。主要對Hadoop兩大主要框架、經(jīng)典聚類算法及推薦算法的相關(guān)概念進行了研究;提出基于Hadoop大數(shù)據(jù)處理技術(shù)的分布式聚類協(xié)同過濾推薦算法，來解決協(xié)同過濾算法應(yīng)對數(shù)據(jù)稀疏性和算法的擴展性問題;對數(shù)據(jù)的稀疏性采用矩陣分解方法預(yù)處理初始數(shù)據(jù)，將預(yù)處理后的數(shù)據(jù)通過聚類算法來建立聚類模型，然后利用聚類模型和協(xié)同過濾算法

3、形成推薦的候選空間，最后完成推薦。
　　本文的工作重點總結(jié):
　　(1)對于常用的聚類算法做了研究分析，全面了解各類典型算法的優(yōu)缺點，重點研究了K-means聚類算法。
　　(2)對經(jīng)典的推薦算法做了深入的研究分析，著重分析了協(xié)同過濾推薦算法。
　　(3)針對數(shù)據(jù)的稀疏性采用矩陣分解算法預(yù)處理，改善數(shù)據(jù)稀疏性后利用改進的K-means聚類算法構(gòu)建聚類模型。
　　(4)結(jié)合K-means聚類模型與協(xié)同過濾推薦

4、算法做混合推薦。
　　(5)對K-means聚類算法、協(xié)同過濾推薦算法進行改進，使其能夠適應(yīng)MapReduce編程模型，進而達到對數(shù)據(jù)進行分布式處理的目的，以此來解決算法存在的可擴展性問題。
　　(6)對混合推薦算法進行評測。本課題應(yīng)用MovieLens數(shù)據(jù)集中的數(shù)據(jù)，通過在數(shù)據(jù)集上的應(yīng)用分析，對算法做了驗證，并對應(yīng)用結(jié)果進行分析。
　　應(yīng)用分析表明，將Hadoop技術(shù)應(yīng)用于聚類協(xié)同過濾推薦混合算法的實現(xiàn)，能夠有效改善