多變量IB方法的協(xié)作模型及算法研究.pdf

1、IB方法(InformationBottleneck)通過對數(shù)據(jù)的壓縮來分析其中所蘊含的內(nèi)在模式，在機(jī)器學(xué)習(xí)、模式識別等眾多領(lǐng)域中取得了成功的應(yīng)用。多變量IB方法(MultivariateInformationBottleneck)是對IB方法的拓展，采用更多的變量來抽象現(xiàn)實問題，讓更多的信息參與到數(shù)據(jù)的壓縮中，通過它們之間的互相配合共同完成更具挑戰(zhàn)性的數(shù)據(jù)分析任務(wù)。
　　多變量IB方法為多元數(shù)據(jù)分析問題提供了理論框架，其協(xié)作模型

2、是對數(shù)據(jù)分析任務(wù)高度抽象化的一種形式，刻畫了變量之間的協(xié)作關(guān)系，為數(shù)據(jù)分析任務(wù)目標(biāo)函數(shù)的確定提供了依據(jù)。一個好的協(xié)作模型可有效利用領(lǐng)域問題中所有有價值的信息來完成數(shù)據(jù)分析任務(wù)。算法則實現(xiàn)了對目標(biāo)函數(shù)的優(yōu)化，事關(guān)數(shù)據(jù)分析的效率及目標(biāo)函數(shù)的優(yōu)化程度。協(xié)作模型與算法均是多變量IB方法研究的核心問題。
　　本文從雙向壓縮、無冗余多視角聚類、多特征變量信息融合和選擇性數(shù)據(jù)分析四個問題出發(fā)，重點研究多變量IB方法的協(xié)作模型與算法，主要成果有:

3、
　　(1)提出交叉對稱IB協(xié)作模型(ICSIB)，將壓縮之前的原特征變量引入到對稱IB的雙向壓縮中，解決對稱IB中特征信息損失問題。ICSIB算法采用交錯的“抽取-合并”順序迭代過程對ICSIB目標(biāo)函數(shù)進(jìn)行優(yōu)化，理論上保證收斂到目標(biāo)函數(shù)的局部優(yōu)解，具有較低的時間和空間復(fù)雜度。實驗表明，在原特征變量的協(xié)助下，ICSIB算法所得到的數(shù)據(jù)雙向壓縮模式更接近于數(shù)據(jù)中真實的內(nèi)在模式。
　　(2)提出無冗余IB協(xié)作模型(NrIB)，將

4、已知數(shù)據(jù)劃分信息以負(fù)變量的形式融入到數(shù)據(jù)的壓縮中，使它們協(xié)助IB方法挖掘一個新的高質(zhì)量聚類模式。NrIB算法既適宜于分析共現(xiàn)數(shù)據(jù)又適宜于分析歐氏空間的非共現(xiàn)數(shù)據(jù)，可挖掘出數(shù)據(jù)中線性及非線性可分模式，無需額外參數(shù)來估算歐氏空間中的信息量。實驗表明，NrIB算法可有效地利用已知數(shù)據(jù)劃分信息來學(xué)習(xí)一個無冗余高質(zhì)量的聚類模式。
　　(3)針對多特征變量信息融合的問題，提出多特征IB協(xié)作模型(MfIB)與基于數(shù)據(jù)局部一致性特征的IB協(xié)作模型

5、(LCIB)，使得多變量IB方法可在多種特征信息的協(xié)助下共同挖掘數(shù)據(jù)中所蘊含的內(nèi)在模式。實驗表明，綜合考慮了多種特征信息的MfIB算法與LCIB算法可更有效地發(fā)現(xiàn)數(shù)據(jù)中所蘊含的真實模式。
　　(4)提出一個具有數(shù)據(jù)選擇分析能力的DSIB算法。該算法采用順序“或抽取-或合并”的策略來優(yōu)化DSIB目標(biāo)函數(shù)，可有選擇地對數(shù)據(jù)進(jìn)行模式分析。論文從理論上證明了該優(yōu)化算法可在有限步驟內(nèi)收斂到目標(biāo)函數(shù)的局部優(yōu)解。實驗表明，DSIB算法可更好地發(fā)