推薦系統(tǒng)中協(xié)同過濾算法若干問題的研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，互聯(lián)網(wǎng)的應(yīng)用也在快速普及，并受到了公眾的認(rèn)可和贊同。同時，互聯(lián)網(wǎng)也滲透到我們每個人的生活中，網(wǎng)上交易購物，也變得越來越流行。但是，對于互聯(lián)網(wǎng)的使用者來說，在網(wǎng)上購物還要面臨一個巨大的問題。由于互聯(lián)網(wǎng)信息的種類繁多，商品數(shù)量龐大，如何在眾多商品中正確的選擇商品和購買到自己需要的商品成為用戶要面臨的一個問題。為了幫助用戶在互聯(lián)網(wǎng)上更好地選擇商品，推薦系統(tǒng)應(yīng)運而生。推薦系統(tǒng)是用來幫助用戶選擇商品和產(chǎn)生商品智能推薦的系統(tǒng)。

2、其中最重要的推薦技術(shù)是協(xié)同過濾技術(shù)，協(xié)同過濾技術(shù)利用用戶品味間的相似來產(chǎn)生推薦。目前，協(xié)同過濾技術(shù)在研究和應(yīng)用領(lǐng)域上均取得了很大成功，但依然有很多問題需要解決和研究。
　　 目前，國內(nèi)外學(xué)者研究的熱點問題主要有三個。第一是算法的準(zhǔn)確性問題。為了使推薦的結(jié)果更加準(zhǔn)確，研究者們一直在推薦準(zhǔn)確性方面做著不懈的努力，但是由于用戶和產(chǎn)品的數(shù)據(jù)的稀疏性，其推薦的準(zhǔn)確性受到嚴(yán)重的影響。由于用戶并不能購買所有商品，而是只能購買其中很少的一部分，

3、從而導(dǎo)致數(shù)據(jù)矩陣十分稀疏，數(shù)據(jù)稀疏性也成為影響協(xié)同過濾技術(shù)最主要的原因。第二是算法的可伸縮性問題。由于用戶和產(chǎn)品數(shù)量龐大，并且用戶和產(chǎn)品的數(shù)量都在高速增長，因此如何使算法更加適合不斷增長的大規(guī)模數(shù)據(jù)，以提高算法的可伸縮性成為一個重要的研究課題。第三是協(xié)同過濾算法的評估問題。推薦系統(tǒng)的評估是一個非常重要的課題，它不但可以幫助我們評估推薦系統(tǒng)的推薦質(zhì)量，還可以針對不同的數(shù)據(jù)及數(shù)據(jù)屬性選擇合適的推薦算法。
　　 針對上述問題，本文開展

4、了以下創(chuàng)新性的研究工作：
　　 第一，提出了一種新的基于模型的協(xié)同過濾算法。傳統(tǒng)的基于用戶的協(xié)同過濾算法基于一個如下假設(shè)：如果用戶對一些項目的評分比較相似，則他們對其它項目的評分也比較相似；如果大部分用戶對一些項的評分比較相似，則當(dāng)前用戶對這些項的評分也比較相似。但是兩個用戶存在品位的相似往往只是針對部分項目而言。傳統(tǒng)的協(xié)同過濾算法往往忽略了這一點，而是把所有的項目都考慮進來。針對這個問題，本文提出了一個新的基于聚類的模型算法。

5、這種算法在聚類的同時試圖在類別中發(fā)現(xiàn)簇中用戶所共有的部分偏好相似項目，并依據(jù)偏好相似程度賦予不同的權(quán)值，然后再在每個簇中使用本文定義的新的相似度計算方法來計算最近鄰并產(chǎn)生預(yù)測。實驗結(jié)果表明，該方法有比較高的準(zhǔn)確度，同時由于使用了聚類的方法，可以有效的減少計算復(fù)雜度，提高算法的可伸縮性。
　　 第二，針對目前協(xié)同過濾算法存在的預(yù)測準(zhǔn)確度受數(shù)據(jù)稀疏性影響比較大的問題，提出了一種新的基于用戶和基于項目結(jié)合的協(xié)同過濾算法。數(shù)據(jù)稀疏或者是

6、由于某些用戶選擇項目太少或者某些項目被用戶選擇次數(shù)過少而導(dǎo)致。因此，本文的算法首先定義了用戶稀疏度和項目稀疏度，并根據(jù)用戶稀疏度的不同來結(jié)合基于用戶和基于項目的協(xié)同過濾算法。實驗結(jié)果表明，該方法能夠有效地解決數(shù)據(jù)稀疏的問題，并能很好的提高算法的準(zhǔn)確性。
　　 第三，提出了一種新的最近鄰選擇方式。最近鄰的選擇是協(xié)同過濾算法中最為核心的問題，因為最后的預(yù)測結(jié)果要使用選擇后的最近鄰來進行組合預(yù)測，因此如何選擇最近鄰將對算法的準(zhǔn)確性產(chǎn)生

7、至關(guān)重要的影響。本文指出了傳統(tǒng)的最近鄰選擇和計算方法所帶來的弊端和存在的問題，并對該類問題進行了定義和分析，針對這類問題，提出了一種新的最近鄰選擇方法，該方法考慮了兩個用戶相似時的用戶的部分偏好相似問題，從而結(jié)合項目間的影響來選擇最近鄰。實驗結(jié)果表明，該方法能夠更加正確的選擇最近鄰，從而改善了協(xié)同過濾算法的準(zhǔn)確性。
　　 最后，文本還提出了一種新的評估和測量協(xié)同過濾算法的方法。有效性和時間消耗作為推薦系統(tǒng)的重要指標(biāo)，其評價準(zhǔn)則的

8、設(shè)計一直是一個熱點，但是沒有統(tǒng)一的結(jié)論。最常用的協(xié)同過濾的有效性的評估指標(biāo)是MAE（mean absolute error）。這個指標(biāo)只能籠統(tǒng)地描述算法準(zhǔn)確性，并沒有針對協(xié)同過濾算法的特殊性進行評價。文本認(rèn)為一個好的推薦系統(tǒng)應(yīng)該滿足如下三個條件：（1）準(zhǔn)確性，能夠正確反映用戶的品位；（2）完整性，能夠推薦用戶可能忽略或者沒有足夠時間去查找的商品項目；（3）可信任性，要能真正贏得用戶的信任。并根據(jù)這些特殊性提出了三個指標(biāo)：修正的平均絕對偏