大數(shù)據(jù)技術(shù)與應(yīng)用基礎(chǔ)-教學(xué)大綱

1、0《大數(shù)據(jù)技術(shù)與應(yīng)用基礎(chǔ)大數(shù)據(jù)技術(shù)與應(yīng)用基礎(chǔ)》教學(xué)大綱教學(xué)大綱學(xué)時(shí)：時(shí)：60代碼：碼：適用專業(yè)：適用專業(yè)：制定：定：審核：核：批準(zhǔn)：準(zhǔn)：一、課程的地位、性質(zhì)和任務(wù)一、課程的地位、性質(zhì)和任務(wù)大數(shù)據(jù)技術(shù)的發(fā)展，已被列為國家重大發(fā)展戰(zhàn)略。而在過去的幾年里，無論是聚焦大數(shù)據(jù)發(fā)展的《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》，還是《“十三五”規(guī)劃》中都深刻體現(xiàn)了政府對大數(shù)據(jù)產(chǎn)業(yè)和應(yīng)用發(fā)展的重視。目前國內(nèi)大數(shù)據(jù)發(fā)展還處于加速期、轉(zhuǎn)型期，數(shù)據(jù)與傳統(tǒng)產(chǎn)業(yè)的融合還處于起步

2、階段，各行業(yè)對大數(shù)據(jù)分析和挖掘的應(yīng)用還不理想。但隨著市場競爭的加劇，各行業(yè)對大數(shù)據(jù)技術(shù)研究的熱情越來越高，在未來幾年，各領(lǐng)域的數(shù)據(jù)分析都將大規(guī)模應(yīng)用。本課程在注重大數(shù)據(jù)時(shí)代應(yīng)用環(huán)境前提下，考慮大數(shù)據(jù)處理分析需求多樣復(fù)雜的基本情況，從初學(xué)者角度出發(fā)，以輕量級理論、豐富的實(shí)例對比性地介紹大數(shù)據(jù)常用計(jì)算模式的各種系統(tǒng)和工具?？紤]到當(dāng)前大數(shù)據(jù)發(fā)展處于起步并逐步趕超先進(jìn)的階段，其應(yīng)用領(lǐng)域豐富廣泛，在教學(xué)過程中應(yīng)注重掌握大數(shù)據(jù)分析的實(shí)踐操作。本課程

3、通過豐富簡單易上手的實(shí)例，讓學(xué)生能夠切實(shí)體會和掌握各種類型工具的特點(diǎn)和應(yīng)用。二、課程教學(xué)基本要求二、課程教學(xué)基本要求1.了解大數(shù)據(jù)的發(fā)展和基本概念，理解并掌握大數(shù)據(jù)的特征及主要技術(shù)層面。2.掌握Scrapy環(huán)境的搭建，了解網(wǎng)絡(luò)爬蟲獲取數(shù)據(jù)的過程，熟悉爬蟲項(xiàng)目的創(chuàng)建。3.深刻了解hadoop的基礎(chǔ)理論，理解并掌握Hadoop單機(jī)及集群環(huán)境的部署方法。4.掌握HDFS的基本概念和HDFS在hadoop中的作用，理解并識記HDFS的使用，了解

4、HDFS的JAVAAPI接口及數(shù)據(jù)流原理；讓學(xué)生明白Map過程與Reduce過程這兩個(gè)獨(dú)立部分各自的原理及合作途徑，知道如何獨(dú)立編寫滿足自己需求的MapReduce程序。5.理解HBase中涉及的基本概念，掌握HBase的簡單應(yīng)用；讓學(xué)生了解數(shù)據(jù)倉庫的基礎(chǔ)概念，熟悉Hive與HDFS、MapReduce直接的關(guān)心。6.熟悉Spark和RDD的基本概念，熟悉spark接口的使用，解決實(shí)戰(zhàn)時(shí)的步驟及思路。7.明白Hadoop和Stm之間的差

5、別，掌握對Stm的使用。理解Apex的工作過程并能簡單應(yīng)用。8.了解Druid的基本概念、應(yīng)用場景以及集群架構(gòu)，掌握批量數(shù)據(jù)加載、流數(shù)據(jù)加載的操作。了解Flink的重要概念和基本架構(gòu)，掌握Flink簡單的使用實(shí)例。9.理解Elasticsearch的基本架構(gòu)，掌握Elasticsearch的一些入門操作。了解并基本掌握怎樣利用所學(xué)的工具對目標(biāo)實(shí)例進(jìn)行數(shù)據(jù)分析。三、課程的內(nèi)容三、課程的內(nèi)容1大數(shù)據(jù)概述大數(shù)據(jù)概述21313分布式文件搜索分布

6、式文件搜索ElasticsearchElasticsearch了解Elasticsearch包含重要部分的基本概念，掌握Elasticsearch重要的安裝過程，掌握簡單的操作。1414實(shí)例電商數(shù)據(jù)分析實(shí)例電商數(shù)據(jù)分析能夠通過已經(jīng)學(xué)習(xí)了解過的環(huán)境和工具等，有條理有步驟的對實(shí)例進(jìn)行數(shù)據(jù)挖掘、數(shù)據(jù)處理和數(shù)據(jù)分析等，進(jìn)而得出相關(guān)的結(jié)論。四、課程的重點(diǎn)、難點(diǎn)四、課程的重點(diǎn)、難點(diǎn)1大數(shù)據(jù)概述大數(shù)據(jù)概述重點(diǎn)：大數(shù)據(jù)的概念和特征。難點(diǎn)：大數(shù)據(jù)的計(jì)算模

7、式和技術(shù)層面間的關(guān)聯(lián)。2數(shù)據(jù)獲取數(shù)據(jù)獲取重點(diǎn)：Scrapy環(huán)境的搭建。難點(diǎn)：網(wǎng)絡(luò)爬蟲獲取數(shù)據(jù)的過程。3HadoopHadoop基礎(chǔ)基礎(chǔ)重點(diǎn)：Hadoop的基礎(chǔ)理論及安裝。難點(diǎn)：Hadoop單機(jī)及集群環(huán)境的部署方法。4HDFSHDFS基本應(yīng)用基本應(yīng)用重點(diǎn)：掌握HDFS的兩種使用方法。5MapReduceMapReduce應(yīng)用開發(fā)應(yīng)用開發(fā)重點(diǎn)：明白Map過程與Reduce過程的原理。難點(diǎn)：獨(dú)立編寫滿足自己需求的MapReduce程序。6分布