關(guān)系數(shù)據(jù)庫數(shù)據(jù)清理技術(shù)研究.pdf

1、在當(dāng)今世界，企業(yè)信息化的要求越來越迫切，其中一個重要的方面就是企業(yè)的數(shù)據(jù)的管理。根據(jù)“進去的是垃圾，出來的也是垃圾”這條原理，為了支持正確決策，就要求所管理的數(shù)據(jù)可靠，沒有錯誤，能準(zhǔn)確地反映企業(yè)的實際情況，因此企業(yè)數(shù)據(jù)質(zhì)量的管理正在獲得越來越多的關(guān)注。 在現(xiàn)實中，數(shù)據(jù)一般都存在各種各樣數(shù)據(jù)質(zhì)量問題，含有各種類型臟數(shù)據(jù)。數(shù)據(jù)清理是提高數(shù)據(jù)質(zhì)量的重要途徑。針對這一課題，論文包括如下幾個方面的研究工作： ·相似重復(fù)記錄清理對于

2、相似重復(fù)記錄的清理，本文著重從重復(fù)記錄識別和相似記錄檢測兩方面進行了研究。重復(fù)記錄識別本文主要研究了基本鄰近排序方法和優(yōu)先隊列算法；相似記錄匹配本文分析了幾種核心的字段匹配算法，針對字段值的特點采用基于編輯距離的字段匹配算法，同時設(shè)計了利用有效權(quán)值和長度過濾的優(yōu)化算法進行記錄匹配，減少相似重復(fù)記錄的檢測時間，提高算法的效率。 ·空缺數(shù)據(jù)清理對于空缺數(shù)據(jù)的清理，本文設(shè)計了一種清理方案。首先分析數(shù)據(jù)的可用性；然后刪除不可用記錄；最后

3、，對可用記錄通過選用填充空缺值的方法來處理該記錄的空缺數(shù)據(jù)，從而完成數(shù)據(jù)源中空缺數(shù)據(jù)的清理。本文著重分析了判定樹歸納的方法來處理空缺數(shù)據(jù)，并對判定樹歸納法進行了變形。實驗證明，判定樹歸納變形算法速度快精度也較高。 ·錯誤數(shù)據(jù)清理針對數(shù)據(jù)源中出現(xiàn)的錯誤數(shù)據(jù)，研究了如何采用業(yè)務(wù)規(guī)則這種方法來檢測錯誤數(shù)據(jù)的重要性，并設(shè)計了將數(shù)據(jù)分類與平滑結(jié)合的算法去除噪聲。這種算法既能對數(shù)據(jù)進行平滑，減少孤立點出現(xiàn)的可能，又不會出現(xiàn)因為進行平滑而改變