基于“合作—參與”計算認知模型的半監(jiān)督學習算法研究與應(yīng)用.pdf

1、機器學習是數(shù)據(jù)挖掘和模式識別的核心研究內(nèi)容之一，近年來隨著互聯(lián)網(wǎng)和信息技術(shù)的發(fā)展，海量數(shù)據(jù)迅速積累。監(jiān)督學習需要大量帶標記數(shù)據(jù)做訓練集，以保證所得假設(shè)的泛化能力。但在計算機輔助醫(yī)學圖像診斷等實際應(yīng)用中，對數(shù)據(jù)進行人工標記的代價很高，容易獲取的是大量無標記數(shù)據(jù)。無監(jiān)督學習屬于無任何監(jiān)督信息的自動學習,雖不需要帶標記數(shù)據(jù),但所得模型卻不夠精確。因此,將少量帶標記數(shù)據(jù)和大量無標記數(shù)據(jù)結(jié)合的半監(jiān)督學習成為研究熱點。
　　現(xiàn)有半監(jiān)督學習算法

2、嘗試利用大量無標記數(shù)據(jù)提供的額外信息引導學習過程、提高學習性能。然而，現(xiàn)有算法通過自動方式從無標記數(shù)據(jù)中獲取的額外信息中既包含有用信息也包括誤導信息。有用信息將使學習性能提高，而不可避免的誤導信息則會使學習性能降低。因此，半監(jiān)督學習中無標記數(shù)據(jù)使用的安全性成為提高學習性能亟待解決的挑戰(zhàn)。此外，在實際大規(guī)模數(shù)據(jù)學習任務(wù)中使用現(xiàn)有基于內(nèi)存、串行執(zhí)行的半監(jiān)督學習算法時，大規(guī)模無標記數(shù)據(jù)的加載和計算，會形成存儲和計算效率瓶頸，制約其應(yīng)用。

3、>　　針對半監(jiān)督學習中無標記數(shù)據(jù)使用的安全性挑戰(zhàn)，本文首先構(gòu)建符合人類半監(jiān)督學習特征的計算認知模型，然后基于該計算認知模型，重點研究半監(jiān)督學習算法中無標記數(shù)據(jù)額外信息中誤導信息和有用信息的甄別與自適應(yīng)選擇、利用方法，以解決半監(jiān)督學習的安全性問題。此外，將半監(jiān)督學習算法應(yīng)用于CT圖像肺結(jié)節(jié)診斷大規(guī)模學習任務(wù)時，探索利用MapReduce并行計算模式，實現(xiàn)半監(jiān)督學習算法在PC機集群上的并行執(zhí)行，以適應(yīng)大規(guī)模數(shù)據(jù)集上的可擴展要求。本文的主要研

4、究成果包括：
　?。?）提出一種用于提高半監(jiān)督學習安全性的“合作-參與”計算認知模型本文借鑒認知心理學研究成果，抽象出符合人類群體相互學習特征的合作學習（collaborative learning）計算模型；同時，將符合人類個體自我學習特征的參與學習（participatory learning）計算模型作為合作學習模型中每個對等學習器的計算模型，構(gòu)建出符合人類半監(jiān)督學習特征的“合作-參與”計算認知模型。該計算模型的核心是共享知

5、識池、接受組件和評價組件。共享知識池的更新和使用機制決定無標記數(shù)據(jù)中額外信息的發(fā)掘和使用策略；接受組件內(nèi)接受機制對從共享知識池中獲取的無標記數(shù)據(jù)額外信息進行甄別；評價組件通過喚醒機制對接受組件的有效性進行評測、并屏蔽接受機制對額外信息的錯誤甄別。本文利用該計算認知模型對Co-training式半監(jiān)督學習算法剖析，得出提高半監(jiān)督學習安全性的策略為：在現(xiàn)有算法利用共享知識池使用無標記數(shù)據(jù)額外信息基礎(chǔ)上，通過引入接受組件和評價組件，對額外信息

6、中誤導信息進行有效識別和過濾。
　?。?）提出一種“合作-參與”模型指導的半監(jiān)督聚類算法
　　半監(jiān)督聚類算法常用有限的帶標記數(shù)據(jù)組成seeds集對聚類中心初始化，以提高其在全體數(shù)據(jù)集上的聚類性能，研究表明seeds集的規(guī)模和質(zhì)量都直接影響半監(jiān)督聚類算法的性能。本文基于“合作-參與”模型，提出一種從大量無標記數(shù)據(jù)中自動獲取大規(guī)模、高質(zhì)量seeds集的半監(jiān)督聚類新算法。首先“合作-參與”計算模型中知識池共享機制采用三個分類器間T

7、ri-training迭代訓練過程，接受組件的接收機制定義為基于最近鄰規(guī)則(Nearest Neighbor Rule)的Depuration數(shù)據(jù)剪輯技術(shù)。本文新算法在用seeds集初始化聚類中心前，利用Tri-training的迭代訓練過程對無標記數(shù)據(jù)進行標記，并加入共享知識池，以擴大seeds集規(guī)模，同時，在Tri-training訓練過程中由接受組件內(nèi)Depuration數(shù)據(jù)剪輯技術(shù)對seeds集擴大過程中產(chǎn)生的誤標記數(shù)據(jù)進行修正

8、、凈化，以提高seeds集質(zhì)量。實驗表明本文提出的“合作-參與”模型指導的半監(jiān)督聚類新算法能有效改善seeds集對聚類中心的初始化效果，提高聚類性能。
　?。?）提出“合作-參與”模型指導的Co-training式半監(jiān)督分類算法
　　基于多分類器集成的Co-training式半監(jiān)督分類算法，由初始帶標記數(shù)據(jù)訓練N(N>2)個分類器，然后利用N-1個分類器組成的集成學習器對無標記數(shù)據(jù)標記，為第 N個分類器重新訓練提供所需的額外

9、信息。然而，由于初始帶標記數(shù)據(jù)很少，不足以訓練出高精度分類器，所以集成學習器提供的額外信息中包含相當數(shù)量的誤標記數(shù)據(jù)是不可避免的（即成為誤導信息）。為提高無標記數(shù)據(jù)使用的安全性，本文通過在Co-training迭代過程中引入“合作-參與”模型的接受組件和評價組件，實現(xiàn)自適應(yīng)地對誤標記數(shù)據(jù)進行識別和移除，保證不同情形下所得假設(shè)的泛化性能。具體地，接受組件內(nèi)接受機制定義為對新標記數(shù)據(jù)的RemoveOnly數(shù)據(jù)剪輯操作；評價組件內(nèi)喚醒機制在對

10、RemoveOnly剪輯操作正面和負面效應(yīng)進行量化測度基礎(chǔ)上，通過自適應(yīng)策略控制RemoveOnly的觸發(fā)與抑制。本文以三分類器Tri-training算法和多決策樹Co-Forest算法為研究對象，分別提出相應(yīng)的半監(jiān)督分類新算法，稱為基于自適應(yīng)剪輯策略的Tri-training算法和基于自適應(yīng)剪輯策略的Co-Forest算法。實驗表明兩種新算法具有更好分類泛化性能。
　　（4）半監(jiān)督分類新算法中自適應(yīng)剪輯策略保證泛化能力提高的理

11、論證明本文提出的兩種基于自適應(yīng)剪輯策略半監(jiān)督分類算法中，自適應(yīng)策略定義為一系列判定剪輯操作觸發(fā)的充分條件的組合。本文以定理形式給出不同情形下剪輯操作觸發(fā)的充分條件,并證明這些充分條件在PAC可學習理論框架下,能夠保證新訓練集規(guī)模迭代增大同時確保剪輯操作的觸發(fā)能使所得假設(shè)的分類錯誤率降低更多。
　?。?）提出對大規(guī)模數(shù)據(jù)集分塊計算的MapReduce并行化半監(jiān)督算法
　　針對大規(guī)模數(shù)據(jù)實際應(yīng)用情形下，串行半監(jiān)督學習算法的存儲和