基于Hadoop架構(gòu)的商業(yè)推薦引擎協(xié)同過濾算法設(shè)計(jì)與實(shí)現(xiàn).pdf

1、推薦系統(tǒng)已被廣泛使用在互聯(lián)網(wǎng)的各個(gè)方面，其中電子商務(wù)的高速發(fā)展離不開個(gè)性化地推薦系統(tǒng)。尤其近年來，推薦系統(tǒng)越來越明顯且有力地推動(dòng)電子商務(wù)的業(yè)務(wù)增長(zhǎng)?；趨f(xié)同過濾的推薦算法是當(dāng)今電子商務(wù)推薦系統(tǒng)中最被廣泛采用的關(guān)鍵技術(shù)之一。
　　在本文中通過全面介紹和研究當(dāng)今推薦系統(tǒng)采用的主要推薦算法，例如基于內(nèi)容、協(xié)同過濾算法等，以及學(xué)習(xí)了大數(shù)據(jù)處理平臺(tái)Hadoop，簡(jiǎn)要介紹Hadoop的工作原理和MapReduce計(jì)算方式和HDFS分布式存儲(chǔ)平

2、臺(tái)。
　　針對(duì)基于內(nèi)存的協(xié)同過濾算法的缺點(diǎn)，從相似度和加權(quán)平均方法切入，提出若干算法改進(jìn)，改善推薦質(zhì)量和提高性能。對(duì)于采用皮爾遜系數(shù)的協(xié)同過濾算法來說，就是當(dāng)兩個(gè)用戶同時(shí)評(píng)分的項(xiàng)目數(shù)目比較少的時(shí)候，那么皮爾遜相關(guān)系數(shù)表現(xiàn)不佳，通過引入默認(rèn)預(yù)測(cè)值能較好地解決這個(gè)問題；當(dāng)某個(gè)項(xiàng)目被很多人同時(shí)評(píng)分，那么它容易和別的項(xiàng)目評(píng)分度較高，通過采取TF-IDF來解決；通過引入指數(shù)算法，來懲罰相似度低的項(xiàng)目的權(quán)重來提高推薦質(zhì)量；Weighted S

3、lopeOne算法在保持預(yù)測(cè)準(zhǔn)確度的情況下提高系統(tǒng)性能。在協(xié)同過濾推薦算法中，因稀疏的用戶項(xiàng)目評(píng)分矩陣而導(dǎo)致的矩陣規(guī)模膨脹是一個(gè)十分棘手的問題。稀疏的用戶評(píng)價(jià)矩陣大大加重系統(tǒng)計(jì)算的時(shí)間。在本文中通過研究各種對(duì)矩陣降維的方法，例如奇異值矩陣分解技術(shù)，非負(fù)矩陣因式分解等概率統(tǒng)計(jì)模型，解決稀疏矩陣的計(jì)算問題。
　　由于電子商務(wù)平臺(tái)的迅速發(fā)展帶來的幾千萬的用戶數(shù)和數(shù)以億計(jì)的商品量（例如亞馬遜商城，天貓商城和京東商城等），對(duì)現(xiàn)有的推薦系統(tǒng)運(yùn)