sql server+hadoop 變身大數(shù)據(jù)解決方案

1、SQLServerHadoop變身大數(shù)據(jù)解決方案關(guān)鍵字：SQLServerHadoop大數(shù)據(jù)解決方案【IT168專稿】在數(shù)據(jù)庫市場中，微軟的SQLServer是最受關(guān)注的產(chǎn)品之一。在數(shù)據(jù)庫知識網(wǎng)站DBEngines每月公布的數(shù)據(jù)庫流行度排行榜中，SQLServer幾乎穩(wěn)占第二名的位置。但從這個榜單每月的變化中也可以看出，大量NoSQL數(shù)據(jù)庫的排名不斷上升，已經(jīng)開始威脅到傳統(tǒng)數(shù)據(jù)庫的地位?！耙圆蛔儜?yīng)萬變”不再是大數(shù)據(jù)時代應(yīng)有的策略，老牌數(shù)

2、據(jù)庫廠商在保持傳統(tǒng)市場領(lǐng)先的基礎(chǔ)上，不斷拓展新市場，微軟就是其中的一個代表。微軟的改變最早是為了向Bing提供高質(zhì)量的搜索結(jié)果，這與Google的情況類似，互聯(lián)網(wǎng)行業(yè)總是最早面臨大數(shù)據(jù)挑戰(zhàn)的。微軟端到端的大數(shù)據(jù)解決方案可以總結(jié)為SQLServer、WindowsAzure和Hadoop，用微軟自己的話說就是數(shù)據(jù)管理、數(shù)據(jù)擴充和洞察力。下面筆者將按照自下而上的順序盤點微軟大數(shù)據(jù)解決方案的具體內(nèi)容：一、數(shù)據(jù)管理一、數(shù)據(jù)管理在微軟的大數(shù)據(jù)解決

3、方案中，數(shù)據(jù)管理是最底層和最基礎(chǔ)的一環(huán)。靈活的數(shù)據(jù)管理層，可以支持所有數(shù)據(jù)類型，包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的靜態(tài)或動態(tài)數(shù)據(jù)。在數(shù)據(jù)管理層中主要包括三款產(chǎn)品：SQLServer、SQLServer并行數(shù)據(jù)倉庫和HadooponWindows。針對不同的數(shù)據(jù)類型，微軟提供了不同的解決方案。具體來說，針對結(jié)構(gòu)化數(shù)據(jù)可以使用SQLServer和SQLServer并行數(shù)據(jù)倉庫處理非結(jié)構(gòu)化數(shù)據(jù)可以使用WindowsAzure和WindowsSe

4、rver上基于Hadoop的發(fā)行版本處理而流數(shù)據(jù)可以使用SQL通過WindowsAzureMarketplace進行共享和協(xié)作：微軟大數(shù)據(jù)解決方案可讓客戶通過WindowsAzureMarketplace共享數(shù)據(jù)并發(fā)現(xiàn)新的洞察力，WindowsAzureMarketplace可通過開放數(shù)據(jù)協(xié)議(OData)展露數(shù)百種來自微軟和第三方的應(yīng)用程序和數(shù)據(jù)挖掘算法。與社交媒體集成：微軟大數(shù)據(jù)解決方案可讓客戶通過來自社交媒體網(wǎng)站(例如Twitte

5、r和Facebook)的公用數(shù)據(jù)來擴展他們的分析。微軟的一款代號為“SocialAnalytics”的基于云的項目允許企業(yè)將社交媒體信息與業(yè)務(wù)應(yīng)用程序相集成。借助Hadoop執(zhí)行高級分析：微軟大數(shù)據(jù)解決方案支持傳統(tǒng)的BI以及高級分析(例如數(shù)據(jù)挖掘和圖形挖掘)，從而可讓客戶從他們所有的數(shù)據(jù)中發(fā)現(xiàn)新價值。HiveODBCDriver可讓客戶使用SQLServer數(shù)據(jù)挖掘工具執(zhí)行預測分析。微軟還將支持Mahout等其他高級分析工具，以及使用C

6、、C#、Python、Ruby和Pearl編寫的挖掘算法。三、洞察力三、洞察力企業(yè)收集、存儲和處理數(shù)據(jù)，最終目的還是要獲得洞察力。企業(yè)需要能夠輕松處理和分析PB級的新數(shù)據(jù)，而不用擔心建立復雜的分布式存儲和計算集群，并且要能夠隨著需求的增加實現(xiàn)縮放。微軟大數(shù)據(jù)解決方案可讓客戶用熟悉的BI工具從他們的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)中獲得可執(zhí)行的洞察力。從洞察力的層面，微軟提供了兩款主要的產(chǎn)品，分別是OfficePowerpivot和SharePoin

7、tPowerView。PowerPivot和PowerView工具，能夠幫助企業(yè)快速的從數(shù)據(jù)中發(fā)現(xiàn)信息，從而解決業(yè)務(wù)問題。其中，PowerPivot可以用來設(shè)計數(shù)據(jù)模型，PowerView可以用來設(shè)計可視化報表，報表還可以發(fā)布到SharePoint平臺上。最終用戶能夠根據(jù)自己業(yè)務(wù)視角及要求設(shè)計數(shù)據(jù)模型并展示出來，充分利用數(shù)據(jù)和前臺界面的力量，滿足業(yè)務(wù)需求。使用熟悉的工具分析Hadoop數(shù)據(jù)：微軟可讓用戶利用Excel的Hive組件在熟悉