大數(shù)據(jù)研究現(xiàn)狀、問題及趨勢

1、大數(shù)據(jù)研究：現(xiàn)狀、問題及趨勢大數(shù)據(jù)研究：現(xiàn)狀、問題及趨勢大數(shù)據(jù)；分布式處理；Hadoop；金融；電商一、大數(shù)據(jù)研究現(xiàn)狀（一）概念研究早在1980年代，阿爾文?托夫勒就提出過“大數(shù)據(jù)”的概念，直到2009年才成為炙手可熱的話題。大數(shù)據(jù)是一個抽象概念，各領(lǐng)域?qū)ζ涠x各不相同。麥肯錫最早提出“大數(shù)據(jù)”時代已經(jīng)到來?！吨婆_》的分析師團(tuán)隊將大數(shù)據(jù)定義為公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。中國人民大學(xué)的孟小峰院長從數(shù)據(jù)量角度認(rèn)為100PB以上的

2、數(shù)據(jù)則是大數(shù)據(jù)；2013年有相關(guān)學(xué)者認(rèn)為大數(shù)據(jù)的概念準(zhǔn)確的講應(yīng)該是指大數(shù)據(jù)技術(shù)，指對海量數(shù)據(jù)的、新的、低成本的處理技術(shù)。總之，目前對于大數(shù)據(jù)尚未有一個公認(rèn)定義，應(yīng)基于大數(shù)據(jù)的特征來理解。2012年3月Teradata公司張錦滄從四個維度來解釋大數(shù)據(jù)的概念――三個V和一個C。三個V是指數(shù)據(jù)量大、數(shù)據(jù)種類多和數(shù)據(jù)增長速度快，一個C指處理、升級或利用大數(shù)據(jù)的分析手段比處理結(jié)構(gòu)化數(shù)據(jù)要復(fù)雜的多。同年10月國際數(shù)據(jù)公司IDC補(bǔ)充到大數(shù)據(jù)還具有價值

3、性（Value），其價值往往呈現(xiàn)出稀疏性。隨后不久IBM公司又增加了真實性（Veracity）這一重要特征。（二）技術(shù)支持對于大數(shù)據(jù)的搜集、整理、分析及應(yīng)用都需要有相應(yīng)的技術(shù)來實現(xiàn)與支撐。從技術(shù)起源來看，相關(guān)學(xué)者認(rèn)為最初大數(shù)據(jù)技術(shù)是指需要處理的信息量過大，已超出一般電腦在處理數(shù)據(jù)時所能使用的內(nèi)存量，工程師們必須改進(jìn)處理數(shù)據(jù)的工具，這就劉啟濱在探討金融業(yè)的大數(shù)據(jù)管理時發(fā)現(xiàn)該行業(yè)存在大數(shù)據(jù)安全存儲和有效應(yīng)用的重要難題，金融行業(yè)大集中將導(dǎo)致大

4、數(shù)據(jù)激增。金融業(yè)業(yè)務(wù)種類和產(chǎn)品日漸豐富，導(dǎo)致存儲的數(shù)據(jù)類型更多，數(shù)據(jù)容量暴增，存儲要求更高。從金融管理目標(biāo)出發(fā)，因為大數(shù)據(jù)容量極大，保存就非常重要，因此需要整合各種數(shù)據(jù)源，建立集中的中央數(shù)據(jù)系統(tǒng)，形成大數(shù)據(jù)規(guī)模，創(chuàng)新管理方式和工具，有效利用大數(shù)據(jù)本身的特點，將NAS、SAN方式的存儲管理逐步深入到金融行業(yè)的數(shù)據(jù)存儲領(lǐng)域。同時他表示大數(shù)據(jù)正在從根本上改變著金融業(yè)業(yè)務(wù)模式，可以分析客戶交易數(shù)據(jù)，建立一段時間的回溯模型，并以此為基礎(chǔ)消除客戶的

5、欺詐行為。（二）電商行業(yè)在大數(shù)據(jù)時代，電商系統(tǒng)的訪問量在爆長，大數(shù)據(jù)量必然成為電商系統(tǒng)面對的最大挑戰(zhàn)，其產(chǎn)生的數(shù)據(jù)無疑還會繼續(xù)更新，且只增不減。而對于電商用戶除了功能以外電商系統(tǒng)網(wǎng)站的訪問速度能否持續(xù)提供高質(zhì)量、高穩(wěn)定性的服務(wù)等都是影響用戶使用感覺的重要因素。因此，高珍、謝玉婧認(rèn)為應(yīng)對服務(wù)器和客戶端的實現(xiàn)做相應(yīng)的優(yōu)化。他們主要針對數(shù)據(jù)庫中大數(shù)據(jù)量處理的實現(xiàn)和數(shù)據(jù)庫設(shè)計、數(shù)據(jù)庫查詢優(yōu)化、算法優(yōu)化以及高效的利用索引方面做了闡述。王雍認(rèn)為在當(dāng)