增量協(xié)同過(guò)濾算法的并行化改進(jìn).pdf

1、增量協(xié)同過(guò)濾算法的并行化改進(jìn)重慶大學(xué)碩士學(xué)位論文（學(xué)術(shù)學(xué)位）學(xué)生姓名：王威風(fēng)指導(dǎo)教師：夏云霓副教授專業(yè)：計(jì)算機(jī)軟件與理論學(xué)科門類：工學(xué)重慶大學(xué)計(jì)算機(jī)學(xué)院二O一五年四月重慶大學(xué)碩士學(xué)位論文中文摘要I摘要隨著互聯(lián)網(wǎng)的發(fā)展，信息過(guò)載的時(shí)代到來(lái)，能解決該問(wèn)題的推薦系統(tǒng)得到了廣泛的研究和應(yīng)用。其中協(xié)同過(guò)濾推薦在電子商務(wù)領(lǐng)域的應(yīng)用最為廣泛，但是隨著近幾年參與網(wǎng)上購(gòu)物的用戶數(shù)的暴增，以及商品的多樣化的發(fā)展，協(xié)同過(guò)濾推薦系統(tǒng)需要面對(duì)的數(shù)據(jù)量成線性增長(zhǎng)，

2、此時(shí)傳統(tǒng)的協(xié)同過(guò)濾推薦算法面對(duì)如此大的數(shù)據(jù)量可擴(kuò)展性和實(shí)時(shí)性的問(wèn)題開(kāi)始突顯，算法運(yùn)行時(shí)間變得過(guò)久，無(wú)法為快速響應(yīng)用戶的最新需求；或者算法無(wú)法運(yùn)行如此大的數(shù)據(jù)量，因而無(wú)法推薦。此時(shí)增量的協(xié)同過(guò)濾算法得到研究，該算法僅使用增量數(shù)據(jù)和部分相關(guān)原數(shù)據(jù)來(lái)動(dòng)態(tài)更新相應(yīng)的算法因子，因而計(jì)算時(shí)間大大縮短，能較好的應(yīng)付大數(shù)據(jù)量，并且擁有較好的實(shí)時(shí)性。本文首先對(duì)相似度進(jìn)行了改進(jìn)，在實(shí)驗(yàn)的基礎(chǔ)上優(yōu)化了推薦預(yù)測(cè)階段的K近鄰算法，同時(shí)對(duì)增量協(xié)同過(guò)濾算法進(jìn)行了并行

3、化的改進(jìn)。主要研究工作包括如下四個(gè)方面：①對(duì)推薦系統(tǒng)的發(fā)展現(xiàn)狀、系統(tǒng)分類、評(píng)測(cè)指標(biāo)及相關(guān)技術(shù)進(jìn)行了介紹，并重點(diǎn)介紹了協(xié)同過(guò)濾推薦算法、分類、比較、及其存在的問(wèn)題。②接著介紹了增量算法中使用的GDC相似度，并在這個(gè)相似度的基礎(chǔ)上提出了修正的GDC相似度，實(shí)驗(yàn)表明該相似度能進(jìn)一步提高算法的準(zhǔn)確度，并且使最優(yōu)K近鄰的值較小。③提出了優(yōu)化的K近鄰算法，在基于項(xiàng)目的協(xié)同過(guò)濾算法預(yù)測(cè)評(píng)分階段，在預(yù)測(cè)某一用戶的未評(píng)分項(xiàng)目時(shí)，最優(yōu)K近鄰的值和該用戶的已

4、評(píng)分項(xiàng)目個(gè)數(shù)P相關(guān)，通過(guò)在已評(píng)分項(xiàng)目個(gè)數(shù)上乘上一個(gè)因子g屬于0.10.2，…，1.0，使K=Pg我們得到優(yōu)化的K近鄰算法，實(shí)驗(yàn)表明該算法在選定一個(gè)較優(yōu)g值時(shí)系統(tǒng)的準(zhǔn)確度較穩(wěn)定，系統(tǒng)數(shù)據(jù)量的增加對(duì)準(zhǔn)確度的影響很小，而不像傳統(tǒng)的K近鄰，最優(yōu)K值隨數(shù)據(jù)量變化而變化。④介紹了增量協(xié)同過(guò)濾算法的處理過(guò)程，包括因子分解，因子更新，因子組合推薦。并在該算法的基礎(chǔ)上對(duì)因子更新階段進(jìn)行了并行化改進(jìn)，通過(guò)多線程使因子更新階段實(shí)現(xiàn)并行化。實(shí)驗(yàn)表明，該算法能顯