基于Java規(guī)則引擎的動(dòng)態(tài)數(shù)據(jù)清洗研究與設(shè)計(jì).pdf

1、在運(yùn)營(yíng)管理過程中，企業(yè)積累了大量的、極為重要的電子數(shù)據(jù)。業(yè)務(wù)決策者在進(jìn)行分析決策時(shí)對(duì)這些數(shù)據(jù)的依賴性日益增強(qiáng)，錯(cuò)誤或沖突的數(shù)據(jù)很可能會(huì)導(dǎo)致錯(cuò)誤的決策，從而給企業(yè)造成巨大的損失。因此在這些數(shù)據(jù)進(jìn)入決策系統(tǒng)之前需要對(duì)其進(jìn)行處理，以提高決策系統(tǒng)的可信度和可用性。為解決上述問題，業(yè)界提出了數(shù)據(jù)清洗的解決方案，即從大量原始數(shù)據(jù)中按一定規(guī)則(領(lǐng)域知識(shí)規(guī)則)檢測(cè)出“臟數(shù)據(jù)”并按一定的規(guī)則(清洗動(dòng)作規(guī)則)修復(fù)或丟棄之。傳統(tǒng)的數(shù)據(jù)清洗工具存在以下不足：“

2、臟數(shù)據(jù)”的檢測(cè)和修復(fù)邏輯被嵌入到復(fù)用性差的硬編碼中或依賴于靈活但低效的手工判斷。當(dāng)“臟數(shù)據(jù)”的定義發(fā)生變化時(shí)需要修改源代碼并重新編譯生成清洗軟件，這在實(shí)際使用中是低效的。Java規(guī)則引擎的出現(xiàn)，為基于動(dòng)態(tài)、可配置規(guī)則的數(shù)據(jù)清洗方式提供了可行的技術(shù)基礎(chǔ)。 本文介紹了規(guī)則引擎的基本原理，分析了Java規(guī)則引擎的工作機(jī)制及其核心算法--Rete算法，并對(duì)一種開源的Java規(guī)則引擎軟件包--Drools的API使用方法及其規(guī)則配置文件的

3、結(jié)構(gòu)及含義做了系統(tǒng)地研究分析。闡述了一種基于Drools規(guī)則引擎的動(dòng)態(tài)數(shù)據(jù)清洗系統(tǒng)的設(shè)計(jì)方案。給出了領(lǐng)域知識(shí)規(guī)則和清洗動(dòng)作規(guī)則的巴科斯范式定義，為規(guī)則的持久化存儲(chǔ)提供了基礎(chǔ)。設(shè)計(jì)并實(shí)現(xiàn)了使用Drools規(guī)則引擎描述并執(zhí)行清洗邏輯，能處理多種數(shù)據(jù)質(zhì)量問題的動(dòng)態(tài)數(shù)據(jù)清洗系統(tǒng)，彌補(bǔ)了現(xiàn)有數(shù)據(jù)清洗工具的不足。這種動(dòng)態(tài)性主要體現(xiàn)在規(guī)則的持久化存儲(chǔ)和Drools規(guī)則配置文件的動(dòng)態(tài)更新。文中還詳細(xì)介紹了系統(tǒng)的規(guī)則數(shù)據(jù)庫(kù)設(shè)計(jì)、功能模塊劃分、架構(gòu)和工作流