基于Active Learning的數(shù)據(jù)修復(fù)補(bǔ)全策略研究.pdf

1、數(shù)據(jù)是信息的載體,數(shù)據(jù)的完整性決定了信息的存儲(chǔ)和表達(dá)效果,然而數(shù)據(jù)在搜集和整理過程中經(jīng)常會(huì)出現(xiàn)隨機(jī)缺失,而且數(shù)據(jù)集在信息化時(shí)代的指數(shù)級(jí)膨脹也增加了修復(fù)補(bǔ)全的難度。本文在對(duì)現(xiàn)有的數(shù)據(jù)修復(fù)方法進(jìn)行分析的基礎(chǔ)上,針對(duì)缺失數(shù)據(jù)集屬性之間關(guān)系模糊、數(shù)據(jù)規(guī)模較大等問題,提出了基于主動(dòng)學(xué)習(xí)的數(shù)據(jù)后驗(yàn)修正的數(shù)據(jù)修復(fù)方法。
　　主動(dòng)學(xué)習(xí)是基于無標(biāo)記樣本或少量標(biāo)記樣本的學(xué)習(xí)方法,通過迭代標(biāo)記有價(jià)值的知識(shí)訓(xùn)練得到優(yōu)質(zhì)的分類器或?qū)W習(xí)機(jī)?；贏ctive

2、Learning的數(shù)據(jù)修復(fù)補(bǔ)全工作遵循“先相關(guān)-后修復(fù)”的原則,避免因盲目修復(fù)而引入臟數(shù)據(jù)或噪聲數(shù)據(jù),該方法更注重?cái)?shù)據(jù)對(duì)于信息的表達(dá)需求,弱化了統(tǒng)計(jì)規(guī)律在修復(fù)中的作用。
　　通過 Rough集“相關(guān)度”和“模糊邊界”理論定義屬性之間的相關(guān)性,構(gòu)造CutOfAttribute算法對(duì)缺失數(shù)據(jù)進(jìn)行屬性剪枝,去除獨(dú)立屬性和冗余屬性,降低屬性關(guān)系維度;通過迭代主動(dòng)學(xué)習(xí)方法,得到精確的多元回歸模型,并在此基礎(chǔ)上對(duì)缺失屬性進(jìn)行代入求解,然后將驗(yàn)

3、證結(jié)果作為預(yù)處理結(jié)果,生成臨時(shí)完整數(shù)據(jù)集;通過支持向量機(jī)MC-Model模型構(gòu)造多分類方法,對(duì)臨時(shí)完整數(shù)據(jù)集進(jìn)行多分類,使得數(shù)據(jù)呈現(xiàn)簇?fù)矸植?解決了數(shù)據(jù)集傾斜的問題,有效減少了學(xué)習(xí)時(shí)間;在各個(gè)分類上再次使用多元回歸模型擬合的方法,代入驗(yàn)證修復(fù)結(jié)果的有效性,并進(jìn)行補(bǔ)全修正,最后得到“完整”的數(shù)據(jù)集。
　　論文選取了UCI數(shù)據(jù)庫(kù)中的幾個(gè)經(jīng)典數(shù)據(jù)集進(jìn)行仿真測(cè)試,通過均方根誤差等指標(biāo)的對(duì)比分析驗(yàn)證了該方法的有效性。該方法可以廣泛應(yīng)用于監(jiān)測(cè)