基于協(xié)同過(guò)濾視角的受限玻爾茲曼機(jī)研究.pdf

1、受限玻爾茲曼機(jī)（Restricted Boltzmann Machine，RBM）是一類具有兩層結(jié)構(gòu)的馬爾可夫隨機(jī)場(chǎng)。近年來(lái)，隨著RBM的快速學(xué)習(xí)算法–對(duì)比散度（Contrastive Divergence，CD）的出現(xiàn)，引起了一輪研究RBM、CD算法的理論及應(yīng)用的熱潮。理論方面，RBM的快速學(xué)習(xí)算法促進(jìn)了機(jī)器學(xué)習(xí)界對(duì)于隨機(jī)近似理論、基于能量的模型、未歸一化的統(tǒng)計(jì)模型的研究。應(yīng)用方面，目前RBM已被成功地應(yīng)用于不同的機(jī)器學(xué)習(xí)問(wèn)題，如分類

2、、回歸、降維、高維時(shí)間序列建模、稀疏超完備表示、圖像變換、協(xié)同過(guò)濾等等。
　　本文試圖從協(xié)同過(guò)濾這一問(wèn)題出發(fā)，建立RBM與協(xié)同過(guò)濾經(jīng)典算法的聯(lián)系，揭示RBM的內(nèi)在機(jī)理，并且從協(xié)同過(guò)濾經(jīng)典算法的改進(jìn)出發(fā)分析受限玻爾茲曼機(jī)的不足，并嘗試提出改進(jìn)。
　　1.以經(jīng)典的基于用戶的協(xié)同過(guò)濾算法為基礎(chǔ)，提出了新的用戶相似度度量，局部用戶相似度及全局用戶相似度，提出了一個(gè)基于以上兩個(gè)用戶相似度的協(xié)同過(guò)濾算法框架。局部用戶相似度可以被視為信息

3、檢索經(jīng)典算法，TF-IDF（Term Frequency–Inverse Document Frequency，詞頻-逆向文檔頻率）權(quán)重的一個(gè)變種，在用戶相似度的計(jì)算中強(qiáng)調(diào)那些罕見(jiàn)的獨(dú)特的特征。全局相似度則可視為譜圖理論的一個(gè)應(yīng)用，通過(guò)用戶間相似度的傳遞，試圖發(fā)現(xiàn)那些沒(méi)有興趣交集的用戶之間的相似度。通過(guò)實(shí)驗(yàn)顯示，基于局部用戶相似度及全局用戶相似度的協(xié)同過(guò)濾算法，在一定程度上緩解了協(xié)同過(guò)濾系統(tǒng)中的數(shù)據(jù)稀疏性問(wèn)題。
　　2.通過(guò)構(gòu)建R

4、BM與基于用戶的協(xié)同過(guò)濾算法的聯(lián)系，本文給出了RBM的學(xué)習(xí)算法–對(duì)比散度的一個(gè)直觀的解釋。由此指出受限玻爾茲曼機(jī)的非監(jiān)督學(xué)習(xí)方式學(xué)習(xí)到的特征可能有時(shí)并不具有辨別力；此外，非監(jiān)督學(xué)習(xí)往往會(huì)產(chǎn)生一個(gè)龐大冗雜的模型，從而使得利用RBM學(xué)習(xí)的特征變得效率不高。因此本文提出一種混合的三階受限玻爾茲曼機(jī)，同時(shí)學(xué)習(xí)類別無(wú)關(guān)特征和類別相關(guān)特征，而這個(gè)混合的三階受限玻爾茲曼機(jī)所定義的分類器只建立在類別相關(guān)的特征之上，從而具有更高的分類效率。類別無(wú)關(guān)特征在

5、學(xué)習(xí)過(guò)程中對(duì)于類別相關(guān)特征引入了一種正則化效應(yīng)，這樣提出的受限玻爾茲曼機(jī)不再需要使用權(quán)重衰減（Weight-decay）來(lái)控制類別相關(guān)特征的范數(shù)的增長(zhǎng)。
　　3.通過(guò)分析受限玻爾茲曼機(jī)的學(xué)習(xí)算法–對(duì)比散度，提出考慮隱單元狀態(tài)的統(tǒng)計(jì)相關(guān)性對(duì)于促使隱單元學(xué)習(xí)各自不同的特征有重要的作用。提出將隱單元分為大小相同、互不重疊的組，進(jìn)而在學(xué)習(xí)過(guò)程中引入一種基于隱單元激活概率的l1/l2正則化方法來(lái)考慮局部隱單元的統(tǒng)計(jì)相關(guān)性。這種正則化方法不僅

6、促使大量隱單元組保持在不激活狀態(tài)，即組間稀疏，同時(shí)使得組內(nèi)的隱單元也大多保持在不激活狀態(tài)，即組內(nèi)稀疏。因此，本文稱使用這種正則化方法訓(xùn)練的受限玻爾茲曼機(jī)為“稀疏組受限玻爾茲曼機(jī)”（Sparse Group Restricted Blotzmann Machines，SGRBM）。實(shí)驗(yàn)顯示，使用稀疏組RBM可以學(xué)習(xí)到一個(gè)較RBM更稀疏更好的生成模型。此外，我們也進(jìn)一步應(yīng)用這種正則化方法到深層玻爾茲曼機(jī)（Deep Boltzmann Mac