數(shù)據(jù)集成技術(shù)若干問題研究.pdf

1、近年來,計算機(jī)技術(shù)的不斷發(fā)展和應(yīng)用的廣泛普及加快了人類社會信息化的進(jìn)程。數(shù)據(jù)集成技術(shù)是解決甘前普遍存在的“信息孤島”問題的重要方法。數(shù)據(jù)集成系統(tǒng)的優(yōu)劣評判標(biāo)準(zhǔn)是看該系統(tǒng)是否能使用戶以最小的代價,高效率的使用這些數(shù)據(jù)。系統(tǒng)是否能夠提供一致的數(shù)據(jù)是實(shí)現(xiàn)此標(biāo)準(zhǔn)的基礎(chǔ)。所以,針對數(shù)據(jù)集成中的數(shù)據(jù)不一致性問題,本文基于以下兩個方面展開了研究:1)通過對數(shù)據(jù)集成系統(tǒng)返回查詢結(jié)果中的不一致數(shù)據(jù)進(jìn)行分析、解決,從而得到一致的查詢結(jié)果?；谶@種方式,本文

2、基于數(shù)據(jù)源質(zhì)量開展了相關(guān)研究,提出了解決方法,并給出了普適計算環(huán)境下的解決策略和算法。同時設(shè)計實(shí)現(xiàn)了一個原型系統(tǒng)。2)由數(shù)據(jù)集成系統(tǒng)提供不一致的數(shù)據(jù)集,并由專家對所有不一致數(shù)據(jù)進(jìn)行集中評估?；谶@種方式,本文重點(diǎn)研究了專家參與解決數(shù)據(jù)不一致性問題時如何取得最好的系統(tǒng)收益。
　　 具體而言,論文的主要研究工作和創(chuàng)新性包括以下幾個方面:
　　 1)針對數(shù)據(jù)集成中數(shù)據(jù)不一致性問題提出了基于數(shù)據(jù)源質(zhì)量的解決方法。本文定義了數(shù)據(jù)源

3、質(zhì)量指標(biāo),設(shè)計了數(shù)據(jù)集成的數(shù)據(jù)模型。基于該數(shù)據(jù)模型,對數(shù)據(jù)集成中的數(shù)據(jù)不一致性問題給出了明確的定義。為了能夠處理定性的指標(biāo)值,使用模糊多屬性決策方法來解決查詢結(jié)果中的不一致數(shù)據(jù)。并基于實(shí)驗(yàn)進(jìn)行驗(yàn)證,得到了良好的實(shí)驗(yàn)結(jié)果。
　　 2)由于普適計算環(huán)境具有動態(tài)性的特點(diǎn),普適環(huán)境中數(shù)據(jù)源質(zhì)量可能經(jīng)常發(fā)生改變并且獲得實(shí)際的數(shù)據(jù)源質(zhì)量是非常困難的。本文針對普適環(huán)境的特點(diǎn),提出了基于模糊多屬性群決策的方法來解決數(shù)據(jù)集成中的數(shù)據(jù)不一致性問題。

4、本文使用數(shù)據(jù)質(zhì)量指標(biāo)和消費(fèi)質(zhì)量指標(biāo)來描述數(shù)據(jù)源的質(zhì)量。在數(shù)據(jù)質(zhì)量指標(biāo)中,定義了一個數(shù)據(jù)源屬性--“歷史可信度”?！皻v史可信度”表示在數(shù)據(jù)不一致性問題的處理過程中,數(shù)據(jù)源提供數(shù)據(jù)的整體正確程度,并且可以基于用戶反饋修改該屬性的值。本文提出的解決方案首先基于數(shù)據(jù)源的消費(fèi)質(zhì)量指標(biāo),使用效用函數(shù)對數(shù)據(jù)進(jìn)行初步篩選。然后使用了數(shù)據(jù)質(zhì)量指標(biāo)和模糊多屬性群決策方法來選擇最合適的數(shù)據(jù)源提供的數(shù)據(jù)作為查詢結(jié)果中不一致數(shù)據(jù)的解決結(jié)果,并將一致的查詢結(jié)果提供

5、給用戶。根據(jù)用戶反饋,調(diào)整相關(guān)數(shù)據(jù)源的歷史可信度指標(biāo)值。實(shí)驗(yàn)結(jié)果驗(yàn)證了本文提出方法的有效性。
　　 3)領(lǐng)域?qū)＜覅⑴c解決數(shù)據(jù)集成系統(tǒng)中的數(shù)據(jù)不一致性問題時,針對如何讓專家的評估更有效率,使數(shù)據(jù)集成系統(tǒng)取得最大的收益,本文提出了基于完美信息價值的解決方法。本文基于查詢結(jié)果的質(zhì)量來評估系統(tǒng)效用,定義了系統(tǒng)效用公式,并進(jìn)一步得到了完美信息價值的計算公式。根據(jù)計算得出的完美信息價值對所有待評估的不一致數(shù)據(jù)集進(jìn)行排序,使專家的評估可以最大

6、化系統(tǒng)收益。并基于實(shí)驗(yàn)驗(yàn)證方法的有效性,得到了良好的實(shí)驗(yàn)結(jié)果。
　　 4)基于本文提出的解決數(shù)據(jù)不一致性問題的方案,設(shè)計實(shí)現(xiàn)了上海世博數(shù)據(jù)集成子系統(tǒng)的原型系統(tǒng)。該系統(tǒng)采用了基于可信度的數(shù)據(jù)集成技術(shù),以服務(wù)總線和XML為基礎(chǔ),以基于模式的集成為核心,基于Web服務(wù)統(tǒng)一封裝異構(gòu)數(shù)據(jù)源。在該子系統(tǒng)中,用戶可以根據(jù)需要選擇是否解決查詢結(jié)果中的數(shù)據(jù)不一致性問題,這增強(qiáng)了系統(tǒng)的靈活性。世博數(shù)據(jù)集成子系統(tǒng)采用近似面向?qū)ο蟮臄?shù)據(jù)模式管理方法對系