HDP消息傳遞算法.pdf

1、互聯(lián)網(wǎng)的高速發(fā)展導(dǎo)致微博、新聞和博客等網(wǎng)絡(luò)數(shù)據(jù)呈現(xiàn)爆炸式的增長。管理并利用這些海量級數(shù)據(jù)成為一大難題，主題模型是解決該難題的有效方法之一。主題模型通過對文檔進行聚類，將文檔歸納為幾個簡單的主題，使得人們可以快速地從各類文檔集中找到自己所需要的信息。傳統(tǒng)主題模型需要給定聚類的數(shù)量，即對于一個語料集，模型究竟該將其聚為多少類。通常我們需要不斷的嘗試各種數(shù)量，雖然基于評價標準可以從中尋找到最佳的聚類數(shù)量，但是這種主觀判斷的方法存在較大的偶然性

2、。
　　分層狄利克雷過程（Hierarchical Dirichlet Process，HDP）模型是傳統(tǒng)主題模型在無參方向的一個衍生，它是一種可用于分析大量文本數(shù)據(jù)的概率主題模型。同時它也是一種貝葉斯無參模型（Bayesian non-parametric model，BNP），主要用于解決傳統(tǒng)概率主題模型中聚類數(shù)目的問題。HDP模型的提出主要依賴于狄利克雷過程（Dirichlet Process，DP）無限維度的特點，令數(shù)據(jù)在

3、訓(xùn)練的過程中發(fā)現(xiàn)其隱藏的主題，該主題可以是當前已發(fā)現(xiàn)的主題，也可以是未發(fā)現(xiàn)的主題，進而實現(xiàn)無參主題模型中主題的動態(tài)變化。
　　傳統(tǒng)無參HDP主題模型的參數(shù)估計與近似推理主要依賴于使用中國餐館過程構(gòu)造的吉布斯采樣算法。該算法基于馬爾科夫鏈蒙特卡洛，通過大量采樣樣本去近似后驗分布。然而該算法存在較強的隨機性，且無法保證消息的完整性。針對傳統(tǒng)算法的缺點，本文提出使用消息傳遞算法來理解HDP模型。通過分析HDP模型對應(yīng)的因子圖模型中因子之

4、間的聯(lián)系，實現(xiàn)模型中后驗概率近似推理的分布化與局部化?；谙鬟f算法理論，本文提出了兩種適用于HDP模型的消息傳遞算法：映射消息傳遞算法與采樣消息傳遞算法。映射消息傳遞算法，提出了映射的概念，利用建立的文檔之間的主題共享層，實現(xiàn)文檔層主題與共享層主題之間的映射，其中文檔共享層是通過使用折棒過程構(gòu)造來實現(xiàn)的，且共享層的主題數(shù)目遠遠大于文檔層的主題數(shù)目；而采樣消息傳遞算法，則借鑒HDP模型中吉布斯采樣之理念，將吉布斯采樣算法與消息傳遞算法