數(shù)據(jù)質(zhì)量分析中若干問題的探討.pdf

1、當(dāng)前，隨著人類進(jìn)入到信息社會(huì)，人們對(duì)信息系統(tǒng)的依賴程度也越來(lái)越深。當(dāng)信息系統(tǒng)中的數(shù)據(jù)量以指數(shù)級(jí)別增長(zhǎng)的同時(shí)，數(shù)據(jù)的質(zhì)量卻沒有得到足夠的重視。尤其是近幾年在經(jīng)濟(jì)全球化的影響下，產(chǎn)品和服務(wù)的競(jìng)爭(zhēng)變得空前激烈，從而對(duì)數(shù)據(jù)提出了更高的質(zhì)量要求。雖然數(shù)據(jù)的質(zhì)量問題已經(jīng)給人類的生產(chǎn)和生活造成了重大的影響，但是該領(lǐng)域的研究目前尚處于萌芽狀態(tài)，一個(gè)完整的理論體系架構(gòu)尚未建立起來(lái)。在諸如“什么是數(shù)據(jù)質(zhì)量”這樣最基本的問題上，研究者們尚未取得共識(shí)。本研究便

2、是在這樣的背景下，結(jié)合實(shí)踐中遇到的幾個(gè)方面的具體問題，作了一定程度的探討。 按照國(guó)際上目前通用的分類方法，數(shù)據(jù)質(zhì)量分析可以分為兩類，即背景相關(guān)和背景無(wú)關(guān)的數(shù)據(jù)質(zhì)量分析。前者指的是，根據(jù)數(shù)據(jù)所應(yīng)該滿足的業(yè)務(wù)規(guī)則，對(duì)數(shù)據(jù)的質(zhì)量情況進(jìn)行分析；后者則是在相關(guān)的業(yè)務(wù)規(guī)則無(wú)法獲得時(shí)，對(duì)數(shù)據(jù)的質(zhì)量情況進(jìn)行分析。本文的研究為了解決企業(yè)數(shù)據(jù)所面臨的具體問題，在背景相關(guān)和背景無(wú)關(guān)兩種類型的分析方面均有所涉及，其內(nèi)容主要包括如下幾個(gè)方面： 一

3、、背景相關(guān)的數(shù)據(jù)質(zhì)量分析研究 數(shù)據(jù)質(zhì)量分析標(biāo)準(zhǔn)在稅務(wù)行業(yè)中的應(yīng)用：選擇了一些被廣泛接受的數(shù)據(jù)質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)，并依照每條標(biāo)準(zhǔn)的定義，對(duì)某稅務(wù)局的數(shù)據(jù)質(zhì)量情況進(jìn)行了具體的分析。針對(duì)分析過(guò)程中發(fā)現(xiàn)的問題，并提出了相應(yīng)的解決方案。 二、背景無(wú)關(guān)的數(shù)據(jù)質(zhì)量分析研究 1．中文環(huán)境下的錯(cuò)誤短語(yǔ)識(shí)別：對(duì)于數(shù)據(jù)集中的字符型數(shù)據(jù)，特別是含有中文的短語(yǔ)中所蘊(yùn)含的錯(cuò)誤進(jìn)行識(shí)別。針對(duì)兩類主要的中文輸入法，拼音輸入法和筆畫輸入法的特點(diǎn)，對(duì)可能

4、產(chǎn)生的錯(cuò)誤類型進(jìn)行了分析。為了發(fā)現(xiàn)與輸入法無(wú)關(guān)的其它類型的錯(cuò)誤，采用了計(jì)算編輯距離的技術(shù)進(jìn)行探測(cè)。 2．利用統(tǒng)計(jì)特征探索數(shù)據(jù)表之間的關(guān)系：數(shù)據(jù)表之間的相互關(guān)系在數(shù)據(jù)遷移過(guò)程中有著重要的作用。而實(shí)踐中這樣的約束關(guān)系常常沒有在數(shù)據(jù)庫(kù)中顯式地進(jìn)行定義，從而容易導(dǎo)致數(shù)據(jù)不一致的問題。本研究探討了如何在數(shù)據(jù)質(zhì)量不高的情況下，通過(guò)分析數(shù)據(jù)的統(tǒng)計(jì)特征，找出數(shù)據(jù)表之間可能存在的相互關(guān)系。研究中特別運(yùn)用了統(tǒng)計(jì)學(xué)中的極端反應(yīng)檢驗(yàn)理論。 3．