一、前言
1、上文中我们已经搭建好了Hadoop和Zookeeper的集群，这一文来将Hadoop集群变得高可用
2、由于Hadoop集群是主从节点的模式，如果集群中的namenode主节点挂掉，那么集群就会瘫痪，所以我们要改造成HA模式（High Avaliable，高可用性）的集群，说白了就是设置一个备用的namenode节点，当线上使用的namenode挂掉后，会切换备用节点，让集群可以继续运行
二、HA模式配置
HA模式原理：比如设置两个namenode节点，一个active，一个standby（同时只能active一个namenode），集群运行中通过JournalNode来同步两个namenode节点的数据，通过Zookeeper来做节点维护，Zookeeper与节点之间存在一个心跳机制，当Zookeeper检测不到某个节点的心跳时，则认为节点挂掉了，就会启动切换机制
1、首先配置journalnode集群 通信的超时时间，如果机器配置不好的情况下，连接时间会比较长，所以加大超时时间，生产环境尽量设置越小越好，这样检测故障也会更加及时
vim /work/soft/hadoop-2.6.4/etc/hadoop/hdfs-site.xml <property> <name>dfs.qjournal.start-segment.timeout.ms</name> <value>60000</value> </property>
2、failover配置----hdfs-site.xml配置
（1）配置集群id
（2）配置nodenode组的节点
（3、4）配置每个namenode节点的rpc地址
（5、6）配置每个namenode节点的控制台地址
（7）配置journalnode集群的访问地址，由于我这里只有两台虚拟机，所以都加上去了，生产环境下，尽量将journalnode和namenode分开在不同的机器，因为一般namenode节点挂了，很可能是因为namenode所在的物理机本身存在一些问题导致，放在一起又会导致journalnode节点也挂掉
（8）配置dfs客户端，用来判断哪个namenode是active的
（9、10）配置结束namenode的方式：当检测到namenode挂掉并进行备用节点切换时，要将之前的namenode彻底干掉，因为要防止namenode的“假死”，比如namenode所在的机器可能由于网络不好被认为挂掉而切换了备用节点，当原namenode机器网络恢复，就会造成两个namenode同时工作，导致数据混乱，这就是所谓的“脑裂现象”。为了防止这个现象，当检测到namenode挂掉，那么就直接SSH连接到这台机器上，并将namenode直接kill掉，第10条配置就要指定当初配置SSH生成的私钥目录
（11）配置journalnode的数据存放的文件夹（要记得去创建文件夹）
vim /work/soft/hadoop-2.6.4/etc/hadoop/hdfs-site.xml <property> <name>dfs.nameservices</name> <value>stormcluster</value> </property> <property> <name>dfs.ha.namenodes.stormcluster</name> <value>storm1,storm2</value> </property> <property> <name>dfs.namenode.rpc-address.stormcluster.storm1</name> <value>storm1:8020</value> </property> <property> <name>dfs.namenode.rpc-address.stormcluster.storm2</name> <value>storm2:8020</value> </property> <property> <name>dfs.namenode.http-address.stormcluster.storm1</name> <value>storm1:50070</value> </property> <property> <name>dfs.namenode.http-address.stormcluster.storm2</name> <value>storm2:50070</value> </property> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://storm1:8485;storm2:8485/stormcluster</value> </property> <property> <name>dfs.client.failover.proxy.provider.stormcluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/root/.ssh/id_rsa</value> </property> <property> <name>dfs.journalnode.edits.dir</name> <value>/work/hadoop/jn</value> </property>
3、failover配置----core-site.xml配置
（1）将之前设置的defaultFS修改成我们刚刚配置的集群id
