Hadoop2.0 HA 集群搭建步驟

2019-11-09 14:27:41

字體：大中小

來源：轉載

供稿：網友

集群節點分配

Park01

Zookeeper NameNode(active) Resourcemanager (active)

Park02

Zookeeper NameNode (standby)

Park03

Zookeeper ResourceManager(standby)

Park04

DataNode NodeManager JournalNode

Park05

DataNode NodeManager JournalNode

Park06

DataNode NodeManager JournalNode

安裝步驟

0.永久關閉每臺機器的防火墻

執行：service iptables stop 再次執行：chkconfig iptables off

1.為每臺機器配置主機名以及hosts文件

配置主機名=》執行：vim /etc/sysconfig/network =》然后執行 hostname 主機名= 》達到不重啟生效目的配置hosts文件=》執行：vim /etc/hosts

示例：127.0.0.1 localhost::1 localhost192.168.234.21 hadoop01192.168.234.22 hadoop02192.168.234.23 hadoop03192.168.234.24 hadoop04192.168.234.25 hadoop05192.168.234.26 hadoop06

2.通過遠程命令將配置好的hosts文件scp到其他5臺節點上

執行：scp /etc/hosts hadoop02: /etc

3.為每天機器配置ssh免秘鑰登錄

執行：ssh-keygen ssh-copy-id root@hadoop01 （分別發送到6臺節點上）

4.前三臺機器安裝和配置zookeeper

配置conf目錄下的zoo.cfg以及創建myid文件（zookeeper集群安裝具體略）

5.為每臺機器安裝jdk和配置jdk環境

6.為每臺機器配置主機名,然后每臺機器重啟，（如果不重啟，也可以配合： hostname hadoop01生效）

執行： vim /etc/sysconfig/network 進行編輯

7.安裝和配置01節點的hadoop

配置hadoop-env.sh 配置 jdk 安裝所在目錄配置hadoop配置文件所在目錄

8. 配置 core-site.xml

<configuration><PRoperty><name>fs.defaultFS</name><value>hdfs://ns</value></property><property><name>hadoop.tmp.dir</name><value>/home/software/hadoop-2.7.1/tmp</value></property><property><name>ha.zookeeper.quorum</name><value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value></property></configuration>

9. 配置 01 節點的 hdfs-site.xml

配置

<configuration><property><name>dfs.nameservices</name><value>ns</value></property><property><name>dfs.ha.namenodes.ns</name><value>nn1,nn2</value></property><property><name>dfs.namenode.rpc-address.ns.nn1</name><value>hadoop01:9000</value></property><property><name>dfs.namenode.http-address.ns.nn1</name><value>hadoop01:50070</value></property><property><name>dfs.namenode.rpc-address.ns.nn2</name><value>hadoop02:9000</value></property><property><name>dfs.namenode.http-address.ns.nn2</name><value>hadoop02:50070</value></property><property><name>dfs.namenode.shared.edits.dir</name><value> qjournal://hadoop04:8485;hadoop05:8485;hadoop06:8485/ns</value></property><property><name>dfs.journalnode.edits.dir</name><value>/home/software/hadoop-2.7.1/journal</value></property><property><name>dfs.ha.automatic-failover.enabled</name><value>true</value></property><property><name>dfs.client.failover.proxy.provider.ns</name><value> org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProv ider</value></property><property><name>dfs.ha.fencing.methods</name><value>sshfence</value></property><property><name>dfs.ha.fencing.ssh.private-key-files</name><value>/root/.ssh/id_rsa</value></property><property><name>dfs.namenode.name.dir</name><value>file:///home/software/hadoop-2.7.1/tmp/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>file:///home/software/hadoop-2.7.1/tmp/datanode</value></property><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.permissions</name><value>false</value></property></configuration>

10.配置mapred-site.xml

配置代碼：

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

11.配置yarn-site.xml

配置代碼：

<configuration> <property><name>yarn.resourcemanager.ha.enabled</name><value>true</value></property>  <property><name>yarn.resourcemanager.ha.rm-ids</name><value>rm1,rm2</value></property> <property><name>yarn.resourcemanager.hostname.rm1</name><value>hadoop01</value></property><property><name>yarn.resourcemanager.hostname.rm2</name><value>hadoop03</value></property><property><name>yarn.resourcemanager.recovery.enabled</name><value>true</value></property><property><name>yarn.resourcemanager.store.class</name><value> org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore </value></property> <property><name>yarn.resourcemanager.zk-address</name><value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value><description>For multiple zk services, separate them with comma</description></property><property><name>yarn.resourcemanager.cluster-id</name><value>yarn-ha</value></property><property><name>yarn.resourcemanager.hostname</name><value>hadoop0 1 </value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>

12.配置slaves文件

配置代碼：

hadoop04hadoop05hadoop06

13.配置hadoop的環境變量（可不配）

java_HOME=/home/software/jdk1.8HADOOP_HOME=/home/software/hadoop-2.7.1CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarPATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATHexport JAVA_HOME PATH CLASSPATH HADOOP_HOME

14.根據配置文件，創建相關的文件夾，用來存放對應數據

在 hadoop-2.7.1 目錄下創建 : ①journal目錄 ②創建tmp目錄 ③在tmp目錄下，分別創建namenode目錄和datanode目錄

15.通過scp 命令，將hadoop安裝目錄遠程copy到其他5臺機器上

比如向hadoop02節點傳輸： scp -r hadoop-2.7.1 hadoop02:/home/software 然后把/etc/profile 發往其他5臺機器，別忘了每臺機器執行：source /etc/profile

Hadoop 集群啟動

16.啟動zookeeper集群

在 Zookeeper 安裝目錄的 bin 目錄下執行：sh zkServer.sh start

17.格式化zookeeper

在zk的leader節點上執行： hdfs zkfc -formatZK，這個指令的作用是在zookeeper集群上生成ha節點（ns節點）注：18–24步可以用一步來替代：進入hadoop安裝目錄的sbin目錄，執行： start-dfs.sh 。但建議還是按部就班來執行，比較可靠。

18.啟動journalnode集群

在04、05、06節點上執行：切換到hadoop安裝目錄的sbin目錄下，執行： sh hadoop-daemons.sh start journalnode 然后執行jps命令查看：

19.格式化01節點的namenode

在01節點上執行： hadoop namenode -format

20.啟動01節點的namenode

在 01 節點上執行： hadoop-daemon.sh start namenode

21.把02節點的namenode節點變為standby namenode節點

在02節點上執行： hdfs namenode-bootstrapStandby

22. 啟動 02 節點的 namenode 節點

在02節點上執行： hadoop-daemon.sh start namenode

23.在04,05,06節點上啟動datanode節點

在 04,05,06 節點上執行：hadoop-daemon.sh start datanode

24.啟動zkfc（啟動FalioverControllerActive)

在01,02節點上執行： hadoop-daemon.sh start zkfc

25.在01節點上啟動主Resourcemanager

在01節點上執行：start-yarn.sh 啟動成功后，04,05,06節點上應該有nodemanager 的進程

26. 在 03 節點上啟動副 Resoucemanager

在03節點上執行：yarn-daemon.sh start resourcemanager

27.測試

輸入地址： http://192.168.234.21:50070 ，查看 namenode 的信息，是active狀態的輸入地址：http://192.168.234.22:50070，查看namenode的信息，是standby狀態然后停掉01節點的namenode,此時返現standby的namenode變為active。

28. 查看 yarn 的管理地址

http://192.168.234.21:8088（節點01的8088端口）停掉：yarn-daemon.sh stop resourcemanager 啟動： y arn-daemon.sh start resourcemanager 排錯： 1.排查防火墻 2. 排查 ip ，如果不是固定 ip 的話，要看下 ip 是否被更換 3.主機名 4.hosts ip和主機名是否對應上 5. 排查 zk 的配置文件 6.排查hadoop的配置文件