大數(shù)據(jù)治理系列大數(shù)據(jù)治理統(tǒng)一流程模型概述和明確元數(shù)據(jù)管理策略

1、大數(shù)據(jù)治理系列， 大數(shù)據(jù)治理系列，第一部分 第一部分: 大數(shù)據(jù)治理 大數(shù)據(jù)治理統(tǒng)一流程模型概述和明確元數(shù)據(jù)管理策略 統(tǒng)一流程模型概述和明確元數(shù)據(jù)管理策略大數(shù)據(jù)治理的核心是為業(yè)務(wù)提供持續(xù)的、可度量的價值在各行各業(yè)中，隨處可見因數(shù)量、速度、種類和準(zhǔn)確性結(jié)合帶來的大數(shù)據(jù)問題，為了更好地利用大數(shù)據(jù)，大數(shù)據(jù)治理逐漸提上日程。大數(shù)據(jù)治理的核心是為業(yè)務(wù)提供持續(xù)的、 可度量的價值。 本文主要介紹大數(shù)據(jù)治理的基本概念和大數(shù)據(jù)治理統(tǒng)一流程參考模型的前兩步：

2、 “明確元數(shù)據(jù)管理策略”和“元數(shù)據(jù)集成體系結(jié)構(gòu)”。大數(shù)據(jù)治理概述 大數(shù)據(jù)治理概述（狹義）大數(shù)據(jù)是指無法使用傳統(tǒng)流程或工具在合理的時間和成本內(nèi)處理或分析的信息， 這些信息將用來幫助企業(yè)更智慧地經(jīng)營和決策。 而廣義的大數(shù)據(jù)更是指企業(yè)需要處理的海量數(shù)據(jù)，包括傳統(tǒng)數(shù)據(jù)以及狹義的大數(shù)據(jù)。 （廣義）大數(shù)據(jù)可以分為五個類型：Web 和社交媒體數(shù)據(jù)、機(jī)器對機(jī)器（M2M）數(shù)據(jù)、海量交易數(shù)據(jù)、生物計量學(xué)數(shù)據(jù)和人工生成的數(shù)據(jù)。??????Web 和社交媒體數(shù)

3、據(jù)：比如各種微博、博客、社交網(wǎng)站、購物網(wǎng)站中的數(shù)據(jù)和內(nèi) 容。M2M 數(shù)據(jù)：也就是機(jī)器對機(jī)器的數(shù)據(jù)，比如 RFID 數(shù)據(jù)、GPS 數(shù)據(jù)、智能儀表、監(jiān)控記錄數(shù)據(jù)以及其他各種傳感器、監(jiān)控器的數(shù)據(jù)。 海量交易數(shù)據(jù)： 是各種海量的交易記錄以及交易相關(guān)的半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，比如電信行業(yè)的 CDR、 3G 上網(wǎng)記錄等， 金融行業(yè)的網(wǎng)上交易記錄、 core banking記錄、理財記錄等，保險行業(yè)的各種理賠等。生物計量學(xué)數(shù)據(jù)：是指和人體識別相關(guān)的生

4、物識別信息，如指紋、DNA、虹膜、 視網(wǎng)膜、人臉、聲音模式、筆跡等。 人工生成的數(shù)據(jù)：比如各種調(diào)查問卷、電子郵件、紙質(zhì)文件、掃描件、錄音和電子病歷等。在各行各業(yè)中，隨處可見因數(shù)量、速度、種類和準(zhǔn)確性結(jié)合帶來的大數(shù)據(jù)問題，為了更好地利用大數(shù)據(jù)，大數(shù)據(jù)治理逐漸提上日程。在傳統(tǒng)系統(tǒng)中，數(shù)據(jù)需要先存儲到關(guān)系型數(shù)據(jù)庫/數(shù)據(jù)倉庫后再進(jìn)行各種查詢和分析，這些數(shù)據(jù)我們稱之為靜態(tài)數(shù)據(jù)。而在大數(shù)據(jù)時代，除了靜態(tài)數(shù)據(jù)以外，還有很多數(shù)據(jù)對實時性要求非常高， 需

5、要在采集數(shù)據(jù)時就進(jìn)行相應(yīng)的處理， 處理結(jié)果存入到關(guān)系型數(shù)據(jù)庫/數(shù)據(jù)倉庫、MPP 數(shù)據(jù)庫、Hadoop 平臺、各種 NoSQL 數(shù)據(jù)庫等，這些數(shù)據(jù)我們稱之為動態(tài)數(shù)據(jù)。 比如高鐵機(jī)車的關(guān)鍵零部件上裝有成百上千的傳感器， 每時每刻都在生成設(shè)備狀態(tài)信息， 企業(yè)需要實時收集這些數(shù)據(jù)并進(jìn)行分析， 當(dāng)發(fā)現(xiàn)設(shè)備回頁首 回頁首第一步：明確元數(shù)據(jù)管理策略 第一步：明確元數(shù)據(jù)管理策略在最開始的時候，元數(shù)據(jù)（Meta Data）是指描述數(shù)據(jù)的數(shù)據(jù)，通常由信息結(jié)

6、構(gòu)的描述組成，隨著技術(shù)的發(fā)展元數(shù)據(jù)內(nèi)涵有了非常大的擴(kuò)展，比如 UML 模型、數(shù)據(jù)交易規(guī)則、用 Java，.NET，C++等編寫的 APIs、業(yè)務(wù)流程和工作流模型、產(chǎn)品配置描述和調(diào)優(yōu)參數(shù)以及各種業(yè)務(wù)規(guī)則、 術(shù)語和定義等 [1]。 在大數(shù)據(jù)時代，元數(shù)據(jù)還應(yīng)該包括對各種新數(shù)據(jù)類型的描述，如對位置、名字、用戶點擊次數(shù)、音頻、視頻、圖片、各種無線感知設(shè)備數(shù)據(jù)和各種監(jiān)控設(shè)備數(shù)據(jù)等的描述等。元數(shù)據(jù)通常分為業(yè)務(wù)元數(shù)據(jù)、 技術(shù)元數(shù)據(jù)和操作元數(shù)據(jù)等。 業(yè)務(wù)