2019-8-2    大數據(ju)(ju)班(ban)正式開課， 整天講(jiang)解(jie)大數據(ju)(ju)的軟件構成和概念

Hadoop , 想到鴻(hong)蒙的未來，我還想大干一場

HDFS:

Hadoop是Apache軟件基金會所(suo)開(kai)發的并行計算框架與分布式文件系統。

Hadoop 最(zui)核心的模塊包括Hadoop Common、HDFS與MapReduce。

HDFS是Hadoop分布式文件系統(tong)（Hadoop Distributed File System）的縮寫，

為(wei)分布(bu)式計(ji)算存儲(chu)提供了底層支持。

采用(yong)Java語言開發，可以(yi)部(bu)署在多種普(pu)通(tong)的廉價機(ji)器上，以(yi)集群處(chu)理數量積達到大型主機(ji)處(chu)理性能。

HDFS 架構原理HDFS采用master/slave架構。

一個HDFS集群包含一個單獨的(de)NameNode和多個DataNode。

NameNode作為master服務，它負責(ze)管理文(wen)(wen)件系(xi)統的命名(ming)空間(jian)和客戶端對文(wen)(wen)件的訪問。

NameNode會保(bao)存(cun)文件(jian)系統的(de)(de)具(ju)體信(xin)(xin)息(xi)，包括文件(jian)信(xin)(xin)息(xi)、文件(jian)被分割(ge)成具(ju)體block塊(kuai)的(de)(de)信(xin)(xin)息(xi)、以及每一(yi)個(ge)block塊(kuai)歸屬的(de)(de)DataNode的(de)(de)信(xin)(xin)息(xi)。

HDFS通過NameNode對用戶提供了一個(ge)單一的(de)命名(ming)空間。

DataNode作為slave服(fu)務，在(zai)集群中可以存在(zai)多個。

通常每一個(ge)DataNode都對(dui)應于(yu)一個(ge)物(wu)理節(jie)點(dian)。

DataNode負責管理節點(dian)上(shang)它們擁有的(de)存儲(chu)(chu)，它將存儲(chu)(chu)劃(hua)分為多(duo)個block塊(kuai)，管理block塊(kuai)信息(xi)，同(tong)時周(zhou)期(qi)性的(de)將其所有的(de)block塊(kuai)信息(xi)發送給(gei)NameNode。

HDFS采用master/slave架構。一(yi)(yi)個HDFS集(ji)群(qun)是由一(yi)(yi)個Namenode和一(yi)(yi)定數(shu)目(mu)的Datanodes組成。

Namenode是一個中(zhong)心服(fu)務器(qi)，負責管理文(wen)件系統的名(ming)字空間(jian)(namespace)以及客戶端對文(wen)件的訪問。

集(ji)群(qun)中的Datanode一(yi)(yi)般是(shi)一(yi)(yi)個(ge)節點一(yi)(yi)個(ge)，負責(ze)管理它所在節點上的存儲。

HDFS暴露了文件系統的名字空間，用戶(hu)能(neng)夠(gou)以文件的形式在上(shang)面(mian)存儲數據。

從內(nei)部(bu)看，一(yi)個(ge)文件其實被分成一(yi)個(ge)或(huo)多個(ge)數據塊(kuai)，這些塊(kuai)存(cun)儲在一(yi)組(zu)Datanode上。

Namenode執行文(wen)件系統的名(ming)字空間操作(zuo)，比如打開、關閉(bi)、重命名(ming)文(wen)件或目錄。

它也負(fu)責(ze)確定數據塊到具體Datanode節點的映(ying)射(she)。

Datanode負責處理文(wen)件系統客(ke)戶端的(de)讀寫請求。

在Namenode的統一調度(du)下進行(xing)數據塊(kuai)的創(chuang)建、刪除和復制。

下圖(tu)為HDFS系統(tong)架(jia)構圖(tu)，主(zhu)要有(you)三個角色，Client、NameNode、DataNode。

文件(jian)寫入時：Client向NameNode發起文件(jian)寫入的請求。

NameNode根據文件(jian)大(da)小和(he)文件(jian)塊配置(zhi)情況，返回給Client它所管(guan)理(li)部分DataNode的信息。

Client將文件劃分為多個block塊(kuai)，并根據DataNode的地址信息，按順(shun)序寫入到每一個DataNode塊(kuai)中。

當文(wen)件讀取(qu)(qu)：Client向NameNode發(fa)起(qi)文(wen)件讀取(qu)(qu)的請求。

NameNode返回(hui)文件存儲的block塊(kuai)信息、及其block塊(kuai)所在DataNode的信息。

Client讀取文件信息。

HDFS 數據(ju)備份(fen)HDFS被設計成一(yi)個可以(yi)在大集群中、跨機(ji)器、可靠的存儲海量數據(ju)的框(kuang)架。

它將所有文件存(cun)儲成block塊組成的序(xu)列，除了最后(hou)一個block塊，所有的block塊大(da)小都(dou)是一樣的。

文件的所有block塊都(dou)會(hui)因為容錯而被(bei)復(fu)制(zhi)。

每個文(wen)件(jian)的(de)block塊(kuai)大小和容(rong)錯復制份(fen)數都是(shi)可配置(zhi)的(de)。

容錯(cuo)復制份數可以(yi)在文件(jian)創建時(shi)配置，后期也可以(yi)修改。

HDFS中(zhong)的(de)文件默認(ren)規則(ze)是write one（一(yi)(yi)次寫、多次讀）的(de)，并且嚴格要(yao)求在任(ren)何時候只有一(yi)(yi)個writer。NameNode負責管理(li)block塊的(de)復制，它周期(qi)性地接(jie)收集群中(zhong)所有DataNode的(de)心跳數據包和Blockreport。心跳包表示(shi)DataNode正常工作，Blockreport描述了該DataNode上所有的(de)block組成(cheng)的(de)列表。

--------------------- 

作者：Resines 

來源：CSDN 

原文：//blog.csdn.net/genglei1022/article/details/89646714 

版(ban)權聲明：本文(wen)為博(bo)主(zhu)原創(chuang)文(wen)章，轉載請(qing)附上博(bo)文(wen)鏈(lian)接！

MapReduce: 

YARN: