阿里云搭建Hadoop集群

• 兩臺(tai)(tai)服(fu)務器，一(yi)臺(tai)(tai)做master，一(yi)臺(tai)(tai)做worker，worker就(jiu)是slave。建議用之前配置好的(de)服(fu)務器做master，新的(de)主機做worker。

• master上的工作

• 
  

• 第一步(bu)通過vim hadoop /etc/hosts在master中添加(jia)worker的hostname

• 
  

• worker1

• worker2

• worker3

• .....

• 1

• 2

• 3

• 4

• 第二步配置ssh無密碼(ma)登(deng)陸(lu)

• 
  

•  1. 將master上的公鑰xxx.pub復制到worker上的authorized_keys里面(mian)。

•      scp xxx.pub worker_ip

• 
  

•  2. 在worker中更改(gai)一下文件的權限(xian)。

•      chmod 600 authorized_keys

•      chmod 700 .ssh

• 1

• 2

• 3

• 4

• 5

• 6

• 第三(san)步將master中的配(pei)置好的hadoop目錄(lu)復(fu)制到worker中

• 
  

• 首先，在master中(zhong)壓縮hadoop文(wen)件(jian)，在拷(kao)貝到(dao)worker中(zhong)。網上很多教程是直接拷(kao)貝文(wen)件(jian)夾到(dao)worker中(zhong)，這(zhe)種做法的效率極低，文(wen)件(jian)的傳(chuan)輸很慢，一定要壓縮后再拷(kao)貝文(wen)件(jian)。

• tar czvf hadoop-2.8.1.tar  hadoop-2.8.1

• scp  hadoop-2.8.1.tar worker_ip

• 1

• 2

• 3

• worker上(shang)的工(gong)作(zuo)

• 
  

• 第(di)一步修改hostname為對應的(de)worker，并(bing)修改對應的(de)hosts中的(de)IP映射。

• 
  

• 第(di)二步配(pei)置java環境。

• 
  

• 第三(san)步配(pei)置/etc/profile

• 
  

• 1、2、3步(bu)參考我的上一篇博客進行完成。hadoop環境搭建(jian)。

• 
  

• 第四步將從master中拷貝過來的hadoop壓(ya)縮包(bao)進行解(jie)壓(ya)，并移動(dong)到software目錄下。

• 
  

• 這次就(jiu)完成(cheng)了hadoop集群的搭建。

• 
  

• 回到master中(zhong)，使用(yong)./sbin/start-all.sh開啟Hadoop集群。

• 
  

• 在master中執行hadoop dfsadmin -report查看集群是(shi)否正常啟(qi)動(dong)，下圖表示(shi)啟(qi)動(dong)成功(gong)：

•  ———————————————— 

• 版權聲明：本文(wen)為CSDN博(bo)主「vlions 」的原創(chuang)文(wen)章，遵循(xun)CC 4.0 by-sa版權協議(yi)，轉載請(qing)附上原文(wen)出處(chu)鏈接(jie)及本聲明。

• 原文鏈接：//blog.csdn.net/qq_22600319/article/details/78241628