大規(guī)模異構(gòu)數(shù)據(jù)即時(shí)整合系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著大數(shù)據(jù)分析技術(shù)的日漸成熟，大數(shù)據(jù)所蘊(yùn)含的巨大價(jià)值已經(jīng)引起了很多行業(yè)的重視。例如，企業(yè)可以通過分析某一領(lǐng)域的大量數(shù)據(jù)為其決策提供支持。大部分決策分析系統(tǒng)往往涉及到大量不同來源的數(shù)據(jù)，這些不同來源的數(shù)據(jù)集不僅數(shù)據(jù)量大、增長迅速，而且格式多樣。因此，分析者希望能集成所有不同來源的數(shù)據(jù)集，通過統(tǒng)一的數(shù)據(jù)訪問接口獲取數(shù)據(jù)。
　　本文以大數(shù)據(jù)在醫(yī)療行業(yè)的應(yīng)用為背景，研究并實(shí)現(xiàn)了大規(guī)模異構(gòu)數(shù)據(jù)即時(shí)整合系統(tǒng)。該系統(tǒng)主要針對多源異構(gòu)大數(shù)據(jù)，經(jīng)過

2、清洗轉(zhuǎn)換，屏蔽底層各數(shù)據(jù)源之間的差異，為上層應(yīng)用提供統(tǒng)一標(biāo)準(zhǔn)的數(shù)據(jù)訪問接口。傳統(tǒng)的異構(gòu)大數(shù)據(jù)整合方法，需要花費(fèi)幾個(gè)月甚至半年來定義標(biāo)準(zhǔn)化數(shù)據(jù)接口，之后再將數(shù)據(jù)批量轉(zhuǎn)換為標(biāo)準(zhǔn)格式，并且一旦標(biāo)準(zhǔn)固定后，無法偵測到新的數(shù)據(jù)類型。本文不同于傳統(tǒng)方法，支持增量式數(shù)據(jù)采集，無需事先定義標(biāo)準(zhǔn)化接口，而是根據(jù)應(yīng)用需求，通過增量式數(shù)據(jù)映射管理平臺，根據(jù)用戶的需求不斷更新對原始數(shù)據(jù)的整合規(guī)則，從而實(shí)現(xiàn)自適應(yīng)完善數(shù)據(jù)標(biāo)準(zhǔn)。
　　本文給出了大規(guī)模異構(gòu)數(shù)據(jù)

3、即時(shí)整合系統(tǒng)的整體設(shè)計(jì)以及主要功能模塊。系統(tǒng)由數(shù)據(jù)實(shí)時(shí)采集子系統(tǒng)和增量式映射管理平臺兩部分組成:數(shù)據(jù)實(shí)時(shí)采集子系統(tǒng)利用前置機(jī)，實(shí)時(shí)獲取各異構(gòu)數(shù)據(jù)源中最新的數(shù)據(jù)變更;增量式映射管理平臺是本文研究的核心部分，本文詳細(xì)介紹了模式匹配模塊中屬性相似度計(jì)算策略，并結(jié)合實(shí)例展示了增量式屬性匹配流程。之后，本文給出了增量式異構(gòu)數(shù)據(jù)整合流程，并提出相應(yīng)的效率優(yōu)化策略。
　　最后本文給出了大量實(shí)驗(yàn)，驗(yàn)證了模式匹配模塊的有效性，測試了增量式異構(gòu)數(shù)據(jù)整