機器學(xué)習(xí)中知識遷移方法研究.pdf

1、傳統(tǒng)的機器學(xué)習(xí)是基于統(tǒng)計學(xué)的機器學(xué)習(xí)，學(xué)習(xí)的任務(wù)就是在給定充分訓(xùn)練數(shù)據(jù)的基礎(chǔ)上來學(xué)習(xí)一個分類模型，然后利用這個學(xué)習(xí)到的模型來對測試數(shù)據(jù)進(jìn)行分類與預(yù)測。其中有一個基本的假設(shè)條件:訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)來自相同的特征空間而且服從相同的概率分布。但是在實際問題中，這種假設(shè)往往不成立，這樣就導(dǎo)致學(xué)習(xí)到的模型無法很好的應(yīng)用到測試數(shù)據(jù)上去，于是傳統(tǒng)的機器學(xué)習(xí)技術(shù)就對這些問題的解決失去了效力。這往往需要我們?nèi)ブ匦聵?biāo)注大量的訓(xùn)練數(shù)據(jù)以滿足我們訓(xùn)練的需要，但

2、標(biāo)注新數(shù)據(jù)是非常昂貴的，需要大量的人力與物力。從另外一個角度上看，如果我們有了大量的、在不同分布下的已標(biāo)記的訓(xùn)練數(shù)據(jù)，完全丟棄這些數(shù)據(jù)也是非常浪費的。如何合理的利用這些數(shù)據(jù)就是遷移學(xué)習(xí)主要解決的問題。
　　目前根據(jù)源數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集中數(shù)據(jù)標(biāo)記的情況不同，遷移學(xué)習(xí)可以劃分為三類:歸納式遷移學(xué)習(xí)，直推式遷移學(xué)習(xí)和無監(jiān)督遷移學(xué)習(xí)，其中前兩種遷移學(xué)習(xí)是當(dāng)今研究的熱點。根據(jù)遷移對象的不同，現(xiàn)今解決遷移學(xué)習(xí)問題的方法可分為四種:實例遷移法，

3、主要是通過挑選和提取對目標(biāo)數(shù)據(jù)集訓(xùn)練有幫助的樣例進(jìn)行權(quán)重重組，將其作為輔助訓(xùn)練數(shù)據(jù)來幫助目標(biāo)數(shù)據(jù)空間的學(xué)習(xí)；特征代表遷移法，主要是尋找一個“好”的特征代表來最小化各個特征空間或者分類器、回歸模型之間的差異；參數(shù)遷移法，尋找源數(shù)據(jù)空間模型和目標(biāo)數(shù)據(jù)空間模型之間的共同的參數(shù)或者前提來進(jìn)行進(jìn)一步處理達(dá)到知識遷移的目的；關(guān)聯(lián)知識遷移法，通過建立源空間數(shù)據(jù)的關(guān)系模型與目標(biāo)空間數(shù)據(jù)的關(guān)系模型的映射模型來實現(xiàn)知識的遷移，并假定兩個數(shù)據(jù)空間是相關(guān)的而且

4、各自服從獨立同分布假設(shè)。
　　本文對歸納式遷移學(xué)習(xí)進(jìn)行了重點研究，在總結(jié)幾種主流的遷移學(xué)習(xí)解決方法的基礎(chǔ)上，提出了三種算法:
　　基于數(shù)據(jù)集動態(tài)重組的集成遷移學(xué)習(xí)。算法首先將大量舊的已標(biāo)記數(shù)據(jù)進(jìn)行隨機等量分割，把得到的舊數(shù)據(jù)的各個分塊分別與少量的新已標(biāo)記數(shù)據(jù)組合得到多個重構(gòu)的訓(xùn)練數(shù)據(jù)集，然后分別訓(xùn)練分類器得到一個集成分類器，利用它對樣例進(jìn)行權(quán)值的更新，最后得到最終的集成分類器。
　　基于神經(jīng)網(wǎng)絡(luò)誤差分析和數(shù)據(jù)重組的集成

5、遷移學(xué)習(xí)。首先利用已標(biāo)記的目標(biāo)數(shù)據(jù)訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)分類器模型，然后把源數(shù)據(jù)集中的樣例輸入該模型中，利用輸出的誤差來為該樣例的權(quán)重進(jìn)行初始化，再利用分割重組的方式重組數(shù)據(jù)集并訓(xùn)練分類器，最后進(jìn)行分類器的集成。
　　基于向量平移和模糊聚類的遷移學(xué)習(xí)。為了讓源數(shù)據(jù)與目標(biāo)數(shù)據(jù)在特征空間中有盡可能大的交集，利用向量平移的方式將兩者盡量重疊起來，然后把目標(biāo)數(shù)據(jù)集的各類中心點作為聚類中心對平移后的數(shù)據(jù)進(jìn)行模糊聚類，得到每個樣例隸屬于各個類別的模