大數(shù)據(jù)分析結(jié)課論文

1、大數(shù)據(jù)論文摘要數(shù)據(jù)發(fā)展到今天，已不再是一個新的概念，基于大數(shù)據(jù)技術(shù)的應(yīng)用也層出不窮，但作為一項發(fā)展前景廣闊的技術(shù)，其很多作用還有待挖掘，比如為人們的生活帶來方便，為企業(yè)帶來更多利益等?，F(xiàn)今，互聯(lián)網(wǎng)上每日產(chǎn)生的數(shù)據(jù)已由曾經(jīng)的TB級發(fā)展到了今天的PB級、EB級甚至ZB級。如此爆炸性的數(shù)據(jù)怎樣去使用它，又怎樣使它擁有不可估量的價值呢？這就需要不斷去研究開發(fā)，讓每天的數(shù)據(jù)“砂礫”變?yōu)椤包S金”。那么如何才能將大量的數(shù)據(jù)存儲起來，并加以分析利用呢，

2、大數(shù)據(jù)技術(shù)應(yīng)運而生。大數(shù)據(jù)是指無法在可承受的時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進行專業(yè)化的處理。本文就大數(shù)據(jù)技術(shù)進行了深入探討，從大數(shù)據(jù)的定義、特征以及目前的應(yīng)用情況引入，簡述了大數(shù)據(jù)分析的統(tǒng)計方法、挖掘方法、神經(jīng)網(wǎng)絡(luò)方法和基于深度學(xué)習(xí)框架的方法，并對大數(shù)據(jù)分析流程和框架、大數(shù)據(jù)存儲模式和服務(wù)機制、大數(shù)據(jù)分析中的多源數(shù)據(jù)融合技術(shù)、高維數(shù)據(jù)的降維技術(shù)

3、、子空間分析、集成分析的處理方法等做了概述。最后，以網(wǎng)絡(luò)信息安全為例，闡述了該領(lǐng)域的大數(shù)據(jù)分析過程和方法。關(guān)鍵詞大數(shù)據(jù)；數(shù)據(jù)挖掘；深度學(xué)習(xí)；大數(shù)據(jù)分析；網(wǎng)絡(luò)信息安全一、大數(shù)據(jù)概述Veracity(難辨識)可以體現(xiàn)在數(shù)據(jù)的內(nèi)容、結(jié)構(gòu)、處理、以及所含子數(shù)據(jù)間的關(guān)聯(lián)等多方面。大數(shù)據(jù)中可以包含眾多具有不同概率分布的隨機數(shù)和眾多具有不同定義域的模糊數(shù)。數(shù)間關(guān)聯(lián)模糊不清、并且可能隨時隨機變化。Value(價值密度低)是指大數(shù)據(jù)的價值密度低，大數(shù)據(jù)中

4、，往往有用數(shù)據(jù)和大量無用數(shù)據(jù)混在一起，因此大數(shù)據(jù)處理的一項必要工作就是“不斷地清垃圾、除噪聲”。大數(shù)據(jù)時代數(shù)據(jù)的價值就像沙里淘金，數(shù)據(jù)量越大里面真正有價值的東西就越少。大數(shù)據(jù)除了以上介紹的四個主要特征外，還具有緯度高，多源性，不確定性、社會性等特征。1.2大數(shù)據(jù)應(yīng)用情況大數(shù)據(jù)的類型大致可分為三類：（1）傳統(tǒng)企業(yè)數(shù)據(jù)（Traditionalenterprisedata）：包括CRMsystems的消費者數(shù)據(jù)，傳統(tǒng)的ERP數(shù)據(jù)，庫存數(shù)據(jù)以及

5、賬目數(shù)據(jù)等。（2）機器和傳感器數(shù)據(jù)（Machinegeneratedsensdata）：包括呼叫記錄（CallDetailRecds），智能儀表，工業(yè)設(shè)備傳感器，設(shè)備日志（通常是Digitalexhaust），交易數(shù)據(jù)等。（3）社交數(shù)據(jù)（Socialdata）：包括用戶行為記錄，反饋數(shù)據(jù)等。如Twitter，F(xiàn)acebook這樣的社交媒體平臺。大數(shù)據(jù)挖掘商業(yè)價值的方法主要分為四種：（1）客戶群體細分，然后為每個群體量定制特別的服務(wù)。（2

6、）模擬現(xiàn)實環(huán)境，發(fā)掘新的需求同時提高投資的回報率。（3）加強部門聯(lián)系，提高整條管理鏈條和產(chǎn)業(yè)鏈條的效率。（4）降低服務(wù)成本，發(fā)現(xiàn)隱藏線索進行產(chǎn)品和服務(wù)的創(chuàng)新。從三大產(chǎn)業(yè)的角度將大數(shù)據(jù)的核心商業(yè)價值分類討論。大數(shù)據(jù)應(yīng)用，是利用大數(shù)據(jù)分析的結(jié)果，為用戶提供輔助決策，發(fā)掘潛在價值的過程。從理論上來看：所有產(chǎn)業(yè)都會從大數(shù)據(jù)的發(fā)展中受益。但由于數(shù)據(jù)缺乏以及從業(yè)人員本身的原因，第一、第二產(chǎn)業(yè)的發(fā)展速度相對于第三產(chǎn)業(yè)來說會遲緩一些。具體實例洛杉磯警察

7、局和加利福尼亞大學(xué)合作利用大數(shù)據(jù)預(yù)測犯罪的發(fā)生。google流感趨勢(GoogleFluTrends)利用搜索關(guān)鍵詞預(yù)測禽流感的散布。統(tǒng)計學(xué)家內(nèi)特.西爾弗(NateSilver)利用大數(shù)據(jù)預(yù)測2012美國選舉結(jié)果。麻省理工學(xué)院利用手機定位數(shù)據(jù)和交通數(shù)據(jù)建立城市規(guī)劃。梅西百貨的實時定價機制。根據(jù)需求和庫存的情況，該公司基于SAS的系統(tǒng)對多達7300萬種貨品進行實時調(diào)價。醫(yī)療行業(yè)早就遇到了海量數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的挑戰(zhàn)，而近年來很多國家都在積