數(shù)據(jù)清洗框架與缺失值重構(gòu)方法的研究.pdf

1、數(shù)據(jù)清洗作為數(shù)據(jù)挖掘中一個重要的數(shù)據(jù)預(yù)處理工作，對于數(shù)據(jù)的質(zhì)量具有重要意義。隨著信息化時代對于數(shù)據(jù)挖掘的迫切需求，高效的數(shù)據(jù)清洗方法也成為學(xué)術(shù)界的研究熱點(diǎn)。
　　本文針對數(shù)據(jù)清洗框架中存在的修復(fù)過程可能阻塞在用戶反饋的階段,系統(tǒng)與用戶之間的交互頻繁以及修復(fù)方式集合不更新等問題及其中的數(shù)據(jù)清洗方法展開研究工作。為了改善持續(xù)性數(shù)據(jù)清洗框架的修復(fù)效率，本文提出了一種基于修復(fù)規(guī)則分級的持續(xù)性數(shù)據(jù)清洗框架。該方法通過將規(guī)則集中的修復(fù)規(guī)則劃分

2、為確定性修復(fù)、可依賴性修復(fù)和可能性修復(fù)三個等級，并針對不同級別采取不同的應(yīng)用方式，從而減少用戶反饋的參與，提高數(shù)據(jù)修復(fù)的效率。隨著系統(tǒng)的運(yùn)行，三個級別的修復(fù)方式之間可以進(jìn)行相互轉(zhuǎn)化，進(jìn)一步提高修復(fù)的準(zhǔn)確度和效率。
　　在基于修復(fù)規(guī)則分級的持續(xù)性數(shù)據(jù)清洗框架的基礎(chǔ)上，本文針對其中確定性修復(fù)中存在的自動修復(fù)數(shù)據(jù)缺失值部分做了更深一步的研究，并提出了一種改進(jìn)的缺失值重構(gòu)方法,該方法通過對于不同類型的數(shù)據(jù)采用不同的方式進(jìn)行距離計算，使得在