基于支持向量機(jī)的高維度缺損數(shù)據(jù)補(bǔ)全算法研究.pdf

1、缺損數(shù)據(jù)的處理是機(jī)器學(xué)習(xí)領(lǐng)域數(shù)據(jù)預(yù)處理中一個(gè)無法避免的問題。特別隨著數(shù)據(jù)采集的方式由人工采集逐步轉(zhuǎn)向機(jī)器自動(dòng)采集，數(shù)據(jù)數(shù)量的急速增長(zhǎng)使數(shù)據(jù)的質(zhì)量嚴(yán)重下降，缺損的數(shù)據(jù)就是導(dǎo)致數(shù)據(jù)質(zhì)量下降的重要原因。采集數(shù)據(jù)失敗、傳輸中數(shù)據(jù)丟失、傳感器設(shè)備故障等原因都造成數(shù)據(jù)庫中大量的空值。在機(jī)器學(xué)習(xí)領(lǐng)域中知名度最高的UCI數(shù)據(jù)庫中也有高達(dá)40％以上的數(shù)據(jù)集含有缺損數(shù)據(jù)。美國霍尼韋爾公司中用于設(shè)備維護(hù)和測(cè)試的數(shù)據(jù)庫中超過50%的數(shù)據(jù)集含有缺損數(shù)據(jù)。在醫(yī)藥領(lǐng)

2、域的情況更加嚴(yán)重，因?yàn)閿?shù)據(jù)收集方法的不規(guī)范等原因，超過60%的數(shù)據(jù)集含有缺損數(shù)據(jù)。
　　缺損的數(shù)據(jù)不單表示信息的空缺，還會(huì)嚴(yán)重影響到后續(xù)的機(jī)器學(xué)習(xí)工作。直接刪除缺損數(shù)據(jù)、取平均值等一些快速簡(jiǎn)單的方法由于無法估計(jì)缺損數(shù)據(jù)對(duì)機(jī)器學(xué)習(xí)結(jié)果的影響，導(dǎo)致數(shù)據(jù)的客觀性可能有較大的受損，降低了機(jī)器學(xué)習(xí)的準(zhǔn)確性。國內(nèi)外許多學(xué)者提出了各種缺損數(shù)據(jù)補(bǔ)全的方法，在不同應(yīng)用環(huán)境下都取得了很好的效果，但是依然存在一些不足的地方。比如，基于決策樹的缺損數(shù)據(jù)補(bǔ)

3、全需要指定條件屬性和類屬性，這種方法每處理一個(gè)屬性都要重新對(duì)整個(gè)模型進(jìn)行訓(xùn)練，這種方法處理隨機(jī)缺損屬性的數(shù)據(jù)效率比較低。其次，很多情況下數(shù)據(jù)都擁有很多屬性，形成一個(gè)高維度的模型，很多缺損數(shù)據(jù)補(bǔ)全算法在高維度數(shù)據(jù)上處理能力不強(qiáng)，使補(bǔ)全的效果不佳。最后，很多算法沒有考慮到數(shù)據(jù)集大小的問題，在數(shù)據(jù)集小的時(shí)候能取得很好的效果，但是無法滿足當(dāng)今數(shù)據(jù)量急劇增大的情況。為解決上述問題，本文給出了一個(gè)基于最近鄰相似度與支持向量機(jī)的缺損數(shù)據(jù)補(bǔ)全算法。創(chuàng)新

4、性地把支持向量機(jī)和基于最近鄰相似度的思想運(yùn)用到缺損數(shù)據(jù)補(bǔ)全領(lǐng)域。針對(duì)數(shù)據(jù)量大的情況，本文提出了基于Map-Reduce的MINNS-SVM分布式的實(shí)現(xiàn)。
　　從兩方面驗(yàn)證算法的有效性：一方面在高維度缺損數(shù)據(jù)上，MINNS-SVM算法對(duì)比傳統(tǒng)的K-means補(bǔ)全算法和基于貝葉斯概率補(bǔ)全算法，真值與補(bǔ)全后的值均方差減少了3%～18%，另一方面補(bǔ)全后數(shù)據(jù)分類的準(zhǔn)確率平均提升15%；在數(shù)據(jù)量巨大情況下，分布式MINNS-SVM算法能有效解