大數(shù)據(jù)技術原理及應用

1、大數(shù)據(jù)技術原理及應用 大數(shù)據(jù)技術原理及應用大數(shù)據(jù)處理架構— 大數(shù)據(jù)處理架構—Hadoop Hadoop 簡介 簡介Hadoop 項目包括了很多子項目，結構如下圖? Common Common原名：Core，包含 HDFS, MapReduce 和其他公共項目，從 Hadoop 0.21 版本后，HDFS 和MapReduce 分離出去，其余部分內容構成 Hadoop Common。Common 為其他子項目提供支持的常用工具，主要包括文

2、件系統(tǒng)、RPC(Remote procedure call) 和串行化庫。? Avro AvroAvro 是用于數(shù)據(jù)序列化的系統(tǒng)。它提供了豐富的數(shù)據(jù)結構類型、快速可壓縮的二進制數(shù)據(jù)格式、 存儲持久性數(shù)據(jù)的文件集、 遠程調用 RPC 的功能和簡單的動態(tài)語言集成功能。 其中，代碼生成器既不需要讀寫文件數(shù)據(jù)，也不需要使用或實現(xiàn) RPC 協(xié)議，它只是一個可選的對靜態(tài)類型語言的實現(xiàn)。 Avro 系統(tǒng)依賴于模式 （Schema） ，Avro 數(shù)據(jù)的

3、讀和寫是在模式之下完成的。這樣就可以減少寫入數(shù)據(jù)的開銷，提高序列化的速度并縮減其大小。Avro 可以將數(shù)據(jù)結構或對象轉化成便于存儲和傳輸?shù)母袷?，?jié)約數(shù)據(jù)存儲空間和網(wǎng)絡傳輸帶寬，Hadoop 的其他子項目（如 HBase 和 Hive）的客戶端和服務端之間的數(shù)據(jù)傳輸。? HDFS HDFSHDFS：是一個分布式文件系統(tǒng)，為 Hadoop 項目兩大核心之一，是 Google file system（GFS）的開源實現(xiàn)。由于 HDFS 具有高

4、容錯性（fault-tolerant）的特點，所以可以設計部署在低廉（low-cost） 的硬件上。 它可以通過提供高吞吐率 （high throughput） 來訪問應用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集的應用程序。HDFS 放寬了可移植操作系統(tǒng)接口（POSIX，PortableOperating System Interface ）的要求，這樣就可以實現(xiàn)以流的形式訪問文件系統(tǒng)中的數(shù)據(jù)。了靈活且強大的工具，用于顯示、監(jiān)視和分析數(shù)據(jù)結果

5、，以便更好地利用所收集的數(shù)據(jù)。大數(shù)據(jù)存儲 大數(shù)據(jù)存儲存儲的講解分為四部分：HDFS, HBase, NoSQL 和云數(shù)據(jù)庫HDFS HDFS分布式文件系統(tǒng)簡介 分布式文件系統(tǒng)簡介相對于傳統(tǒng)的本地文件系統(tǒng)而言， 分布式文件系統(tǒng)是一種通過網(wǎng)絡實現(xiàn)文件在多臺計算機上進行分布式存儲的文件系統(tǒng)。分布式文件系統(tǒng)的設計一般采用“客戶機 /服務器”（client/server）模式，客戶端以特定的通信協(xié)議通過網(wǎng)絡與服務器建立連接，提出文件訪問請求，客戶

6、端和服務器可以通過設置訪問權來限制請求方對底層數(shù)據(jù)存儲快的訪問。在我們所熟悉的 Windows、 Linux 操作系統(tǒng)中， 文件系統(tǒng)一般會把磁盤空間劃分為每 512字節(jié)一組，稱為“磁盤塊” ，它是文件系統(tǒng)讀寫操作的最小單位，文件系統(tǒng)的塊（ block）通常是磁盤塊的整數(shù)倍，即每次讀寫的數(shù)據(jù)量必須是磁盤塊大小的整數(shù)倍。分布式文件系統(tǒng)也采用了塊的概念，HDFS 默認的一個塊的大小為 64MB。與普通文件不同的是， 在分布式文件系統(tǒng)中， 如果