云計(jì)算技術(shù)綜述

1、1云計(jì)算技術(shù)綜述云計(jì)算技術(shù)綜述胡經(jīng)國(guó)胡經(jīng)國(guó)本文作者的話本文作者的話本文是根據(jù)有關(guān)文獻(xiàn)和資料編寫的《漫話云計(jì)算》系列文稿之一。現(xiàn)作為云計(jì)算學(xué)習(xí)筆錄，奉獻(xiàn)給云計(jì)算業(yè)外讀者，作為進(jìn)一步學(xué)習(xí)和研究的參考。希望能夠得到大家的指教和喜歡！下面是正文下面是正文一、云計(jì)算關(guān)鍵技術(shù)一、云計(jì)算關(guān)鍵技術(shù)1、虛擬化技術(shù)、虛擬化技術(shù)在云計(jì)算中，虛擬化（Virtualization）是一種資源管理技術(shù)。虛擬化技術(shù)，是指計(jì)算元件在虛擬的基礎(chǔ)上而不是在真實(shí)的基礎(chǔ)上運(yùn)行

2、。它可以擴(kuò)大硬件的容量，簡(jiǎn)化軟件的重新配置過程，減少軟件虛擬機(jī)相關(guān)開銷和支持更廣泛的操作系統(tǒng)。通過虛擬化技術(shù)，可實(shí)現(xiàn)軟件應(yīng)用與底層硬件相隔離。它包括將單個(gè)資源劃分為多個(gè)虛擬資源的裂分模式；也包括將多個(gè)資源整合為一個(gè)虛擬資源的聚合模式。例如，可以將一臺(tái)物理服務(wù)器虛擬成為多臺(tái)邏輯機(jī)器；也可以將多臺(tái)物理服務(wù)器虛擬成為一臺(tái)邏輯機(jī)器。虛擬化技術(shù)根據(jù)對(duì)象可分為：計(jì)算虛擬化、存儲(chǔ)虛擬化、網(wǎng)絡(luò)虛擬化等。計(jì)算虛擬化又分為：系統(tǒng)級(jí)虛擬化、應(yīng)用級(jí)虛擬化和桌面

3、虛擬化。在云計(jì)算實(shí)現(xiàn)中，計(jì)算系統(tǒng)虛擬化，是一切建立在“云”上的服務(wù)與應(yīng)用的基礎(chǔ)。虛擬化技術(shù)目前主要應(yīng)用在CPU、操作系統(tǒng)、服務(wù)器等多個(gè)方面，是提高服務(wù)效率的最佳解決方案。2、分布式海量數(shù)據(jù)存儲(chǔ)、分布式海量數(shù)據(jù)存儲(chǔ)云計(jì)算系統(tǒng)由大量服務(wù)器組成，同時(shí)為大量用戶服務(wù)。因此，云計(jì)算系統(tǒng)采用分布式存儲(chǔ)的方式存儲(chǔ)數(shù)據(jù)；用冗余存儲(chǔ)的方式（集群計(jì)算、數(shù)據(jù)冗余和分布式存儲(chǔ)）保證數(shù)據(jù)的可靠性。冗余存儲(chǔ)的方式，通過任務(wù)分解和集群，用低配置機(jī)器替代超級(jí)計(jì)算機(jī)的性

4、能，來保證低成本。這種方式保證分布式數(shù)據(jù)的高可用、高可靠和經(jīng)濟(jì)性，即為同一份數(shù)據(jù)存儲(chǔ)多個(gè)副本。云計(jì)算系統(tǒng)中廣泛使用的數(shù)據(jù)存儲(chǔ)系統(tǒng)，是Google的GFS和Hadoop團(tuán)隊(duì)開發(fā)的GFS的開源實(shí)現(xiàn)HDFS。鏈接：鏈接：GFS3System，關(guān)系型數(shù)據(jù)庫管理系統(tǒng)），是將數(shù)據(jù)組織為相關(guān)的行和列的系統(tǒng)；而管理關(guān)系型數(shù)據(jù)庫的軟件就是關(guān)系型數(shù)據(jù)庫管理系統(tǒng)。常用的管理關(guān)系型數(shù)據(jù)庫的軟件有acle、SQLServer等。鏈接：鏈接：SQLSQL（Stru

5、cturedQueryLanguage，結(jié)構(gòu)化查詢語言），是一種數(shù)據(jù)庫查詢和程序設(shè)計(jì)語言，用于存取數(shù)據(jù)以及查詢、更新和管理關(guān)系型數(shù)據(jù)庫系統(tǒng)；同時(shí)也是數(shù)據(jù)庫腳本文件的擴(kuò)展名。鏈接：鏈接：HiveHive是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供完整的SQL查詢功能，可以將SQL語句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。其優(yōu)點(diǎn)是學(xué)習(xí)成本低，可以通過類SQL語句快速實(shí)現(xiàn)簡(jiǎn)單的MapReduce統(tǒng)計(jì)，

6、不必開發(fā)專門的MapReduce應(yīng)用，十分適合數(shù)據(jù)倉(cāng)庫的統(tǒng)計(jì)分析。鏈接：鏈接：MapReduceMapReduce是一種分布式并行編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。概念“Map（映射）”和“Reduce（歸約）”，和它們的主要思想，都是從函數(shù)式編程語言里借來的，還有從矢量編程語言里借來的特性。它極大地方便了編程人員在不會(huì)分布式并行編程的情況下，將自己的程序運(yùn)行在分布式系統(tǒng)上。4、編程模式、編程模式云計(jì)算提供了分布式計(jì)算

7、模式，客觀上要求必須有分布式編程模式。云計(jì)算采用了一種思想簡(jiǎn)潔的分布式并行編程模型MapReduce。MapReduce是一種編程模型和任務(wù)調(diào)度模型。主要用于數(shù)據(jù)集的并行運(yùn)算和并行任務(wù)的調(diào)度處理。在該模式下，用戶只需要自行編寫Map函數(shù)和Reduce函數(shù)，即可進(jìn)行并行計(jì)算。其中，在Map（映射）函數(shù)中定義各節(jié)點(diǎn)上的分塊數(shù)據(jù)的處理方法；而在Reduce（歸約或化簡(jiǎn)）”函數(shù)中定義中間結(jié)果的保存方法以及最終結(jié)果的歸納方法。5、云計(jì)算平臺(tái)管理技

8、術(shù)、云計(jì)算平臺(tái)管理技術(shù)云計(jì)算資源規(guī)模龐大，服務(wù)器數(shù)量眾多并分布在不同的地點(diǎn)，同時(shí)運(yùn)行著數(shù)百種應(yīng)用。如何有效地管理這些服務(wù)器，保證整個(gè)系統(tǒng)提供不間斷的服務(wù)，是巨大的挑戰(zhàn)。云計(jì)算系統(tǒng)的平臺(tái)管理技術(shù)，能夠使大量的服務(wù)器協(xié)同工作，方便地進(jìn)行業(yè)務(wù)部署和開通，快速發(fā)現(xiàn)和恢復(fù)系統(tǒng)故障，通過自動(dòng)化、智能化的手段實(shí)現(xiàn)大規(guī)模系統(tǒng)的可靠運(yùn)營(yíng)。云計(jì)算平臺(tái)，也稱為云平臺(tái)。云計(jì)算平臺(tái)可以劃分為3類：以數(shù)據(jù)存儲(chǔ)為主的存儲(chǔ)型云平臺(tái)，以數(shù)據(jù)處理為主的計(jì)算型云平臺(tái)，以及計(jì)