從復(fù)雜性的角度看大數(shù)據(jù)研究和應(yīng)用面臨的挑戰(zhàn)

1、從復(fù)雜性的角度看大數(shù)據(jù)研究和應(yīng)用面臨的挑戰(zhàn)從復(fù)雜性的角度看大數(shù)據(jù)研究和應(yīng)用面臨的挑戰(zhàn).doc從復(fù)雜性的角度看大數(shù)據(jù)研究和應(yīng)用面臨的挑戰(zhàn).doc從復(fù)雜性的角度看大數(shù)據(jù)研究和應(yīng)用面臨的挑戰(zhàn)中國信息化百人會學(xué)術(shù)委員、中國工程院院士李國杰認(rèn)為，目前大數(shù)據(jù)技術(shù)還不成熟，面對海量、異構(gòu)、動態(tài)變化的數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)處理和分析技術(shù)難以應(yīng)對，現(xiàn)有的數(shù)據(jù)處理系統(tǒng)實現(xiàn)大數(shù)據(jù)應(yīng)用的效率較低，成本和能耗較大，而且難以擴展，這些挑戰(zhàn)大多來自數(shù)據(jù)本身的復(fù)雜性、計算的

2、復(fù)雜性和信息系統(tǒng)的復(fù)雜性。李國杰認(rèn)為，發(fā)展大數(shù)據(jù)不要一味追求“數(shù)據(jù)規(guī)模大”，不要“技術(shù)驅(qū)動”，要“應(yīng)用為先”，不能拋棄”小數(shù)據(jù)”方法，同時要高度關(guān)注構(gòu)建大數(shù)據(jù)平臺的成本。大數(shù)據(jù)技術(shù)和人類探索復(fù)雜性的努力有密切關(guān)系。20世紀(jì)70年代，新三論（耗散結(jié)構(gòu)論、協(xié)同論、突變論）的興起對幾百年來貫穿科學(xué)技術(shù)研究的還原論發(fā)起了挑戰(zhàn)。1984年蓋爾曼等3位諾貝爾獎得主成立以研究復(fù)雜性為主的圣菲研究所，提出超越還原論的口號，在科技界掀起了一場復(fù)雜性科學(xué)運

3、動。雖然雷聲很大，但30年來并未取得預(yù)期的效果，其原因之一可能是當(dāng)時還沒有出現(xiàn)解決復(fù)雜性的技術(shù)。集成電路、計算機與通信技術(shù)的發(fā)展大大增強了人類研究和處理復(fù)雜問題的能力。大數(shù)據(jù)技術(shù)將復(fù)雜性科學(xué)的新思想發(fā)揚光大，可能使復(fù)雜性科需要深入研究數(shù)據(jù)復(fù)雜性的內(nèi)在機理。人腦的復(fù)雜性主要體現(xiàn)在千萬億級的樹突和軸突的鏈接，大數(shù)據(jù)的復(fù)雜性主要也體現(xiàn)在數(shù)據(jù)之間的相互關(guān)聯(lián)。理解數(shù)據(jù)之間關(guān)聯(lián)的奧秘可能是揭示微觀到宏觀“涌現(xiàn)”規(guī)律的突破口。大數(shù)據(jù)復(fù)雜性規(guī)律的研究有

4、助于理解大數(shù)據(jù)復(fù)雜模式的本質(zhì)特征和生成機理，從而簡化大數(shù)據(jù)的表征，獲取更好的知識抽象。為此，需要建立多模態(tài)關(guān)聯(lián)關(guān)系下的數(shù)據(jù)分布理論和模型，理清數(shù)據(jù)復(fù)雜度和計算復(fù)雜度之間的內(nèi)在聯(lián)系，奠定大數(shù)據(jù)計算的理論基礎(chǔ)。2計算復(fù)雜性引起的挑戰(zhàn)大數(shù)據(jù)計算不能像處理小樣本數(shù)據(jù)集那樣做全局?jǐn)?shù)據(jù)的統(tǒng)計分析和迭代計算，在分析大數(shù)據(jù)時，需要重新審視和研究它的可計算性、計算復(fù)雜性和求解算法。大數(shù)據(jù)樣本量巨大，內(nèi)在關(guān)聯(lián)密切而復(fù)雜，價值密度分布極不均衡，這些特征對建立