不確定數(shù)據(jù)集成工具的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著信息技術(shù)的不斷發(fā)展，不確定數(shù)據(jù)引起了學(xué)術(shù)界與工業(yè)界的高度重視，并得到了廣泛的應(yīng)用，使得各個(gè)領(lǐng)域保存了大量的不確定性數(shù)據(jù)。然而各個(gè)企業(yè)和部門(mén)的應(yīng)用往往各自獨(dú)立，數(shù)據(jù)得不到有效的交換與共享，致使數(shù)據(jù)形成“孤島”，這需要數(shù)據(jù)集成。不確定數(shù)據(jù)是帶有概率的數(shù)據(jù)，集成需要發(fā)現(xiàn)模式之間的映射關(guān)系與消除相似記錄，而數(shù)據(jù)的不確定性加大了集成的困難。
　　不確定數(shù)據(jù)集成與傳統(tǒng)數(shù)據(jù)集成的不同在于不確定數(shù)據(jù)集成需要處理數(shù)據(jù)的概率，在研究不確定數(shù)據(jù)集成

2、需求的基礎(chǔ)之上，設(shè)計(jì)了不確定數(shù)據(jù)集成工具的總體結(jié)構(gòu)，主要包括模式匹配與相似記錄處理兩大模塊。在模式匹配模塊中，設(shè)計(jì)實(shí)現(xiàn)了一種基于實(shí)例劃分的模式匹配方法，這種方法將待匹配模式中的實(shí)例數(shù)據(jù)分為數(shù)值型數(shù)據(jù)與字符串?dāng)?shù)據(jù)，字符型數(shù)據(jù)采用最小平均編輯距離方法將屬性值劃分到不同的分區(qū)中，數(shù)值類型數(shù)據(jù)采用相鄰平均差的方法將屬性數(shù)據(jù)劃分到不同的分區(qū)中，再利用信息熵的思想計(jì)算屬性的相似度概率，最后根據(jù)屬性的相似度，計(jì)算模式的相似度概率。在相似記錄處理模塊中

3、，設(shè)計(jì)了一種多線程的方法，使得相似記錄檢測(cè)與聚集并發(fā)執(zhí)行。同時(shí)設(shè)計(jì)了不確定數(shù)據(jù)相似記錄檢測(cè)方法，該方法在最大概率相似記錄檢測(cè)方法基礎(chǔ)之上，將多元組概率表示的元組按概率從大到小排序，檢測(cè)按概率從大到小進(jìn)行，直到檢測(cè)完所有的記錄。針對(duì)相似記錄，將按多元組概率表示方式存放在一起，形成不出現(xiàn)在同一可能世界的元組關(guān)系；如果存在相同數(shù)據(jù)的元組，利用證據(jù)合并理論將概率合并，并刪除相同的元組，最后將合并后的元組的概率標(biāo)準(zhǔn)化。
　　通過(guò)實(shí)驗(yàn)驗(yàn)證了不