2013年10月15号，Hadoop已经升级到2.2.0稳定版了，同时带来了很多新的特性，本人所在的公司经过一个月时间对Hadoop2.2.0的测试，在确保对业务没有影响的前提下将Hadoop集群顺利的升级到Hadoop2.2.0版本，本文主要介绍如何从Hadoop1.x（本博客用到的是hadoop-0.20.2-cdh3u4）版本的集群顺利地升级到Hadoop2.2.0。
1、为了预防升级过程中出现的各种问题，最好在集群升级的过程前先备份好集群namenode的元数据（${HADOOP_HOME}/conf/hdfs-site.xml中的dfs.name.dir所配置的文件夹），以免升级失败带来不可挽回的损失！
2、Hadoop升级不是简单的运行下面的一些命令就达到将Hadoop1.x升级到Hadoop2.x，还需要通过大量的参数配置来达到最优，所以请不要阅读完本博客就马上在开发环境下升级Hadoop集群！你可以现在测试机上试验一下，主要是各个参数的配置。
3、由于公司的限制，我不可能将我们线上Hadoop集群参数的配置公布在这。
4、为了说明的方便，本文在虚拟机上面安装好了Hadoop伪分布式平台，以下所有的升级步骤和真实分布式集群升级步骤一样！
5、本文并没有介绍想升级到有JournalNodes、active NN和standby NN的Hadoop的集群步骤，其实这些升级步骤和这个差不多，需要了解的人可以来咨询我。
6、这里只是介绍如何将集群升级到2.x，关于如何将Mapreduce的程序从1.升级到2.x，请参见本博客《Hadoop1.x程序升级到Hadoop2.x需要的依赖库》。
1、先看下Hadoop1.x集群上面已有的数据：
[wyp@master hadoop-0.20.2-cdh3u4]$ bin/hadoop fs -ls /home/wyp/data Found 25 items -rw-r--r-- 2 wyp supergroup 21 2013-12-02 17:49 /home/wyp/data/1.txt -rw-r--r-- 2 wyp supergroup 44 2013-12-02 17:49 /home/wyp/data/10.txt -rw-r--r-- 2 wyp supergroup 27 2013-12-02 17:49 /home/wyp/data/10.txt~ -rw-r--r-- 2 wyp supergroup 224 2013-12-02 17:48 /home/wyp/data/11.txt -rw-r--r-- 2 wyp supergroup 37 2013-12-02 17:49 /home/wyp/data/12.txt -rw-r--r-- 2 wyp supergroup 270432 2013-12-02 17:49 /home/wyp/data/123.txt -rw-r--r-- 2 wyp supergroup 32 2013-12-02 17:49 /home/wyp/data/2.txt -rw-r--r-- 2 wyp supergroup 21 2013-12-02 17:49 /home/wyp/data/2.txt~ -rw-r--r-- 2 wyp supergroup 120 2013-12-02 17:49 /home/wyp/data/3.txt -rw-r--r-- 2 wyp supergroup 30 2013-12-02 17:49 /home/wyp/data/3.txt~ -rw-r--r-- 2 wyp supergroup 29 2013-12-02 17:49 /home/wyp/data/4.txt -rw-r--r-- 2 wyp supergroup 21 2013-12-02 17:49 /home/wyp/data/4.txt~ -rw-r--r-- 2 wyp supergroup 33 2013-12-02 17:49 /home/wyp/data/5.txt -rw-r--r-- 2 wyp supergroup 62 2013-12-02 17:49 /home/wyp/data/6.txt -rw-r--r-- 2 wyp supergroup 173 2013-12-02 17:49 /home/wyp/data/7 -rw-r--r-- 2 wyp supergroup 173 2013-12-02 17:49 /home/wyp/data/7~ -rw-r--r-- 2 wyp supergroup 0 2013-12-02 17:49 /home/wyp/data/8.txt -rw-r--r-- 2 wyp supergroup 0 2013-12-02 17:49 /home/wyp/data/8.txt~ -rw-r--r-- 2 wyp supergroup 27 2013-12-02 17:48 /home/wyp/data/9.txt drwxr-xr-x - wyp supergroup 0 2013-12-02 17:49 /home/wyp/data/ml-100k -rw-r--r-- 2 wyp supergroup4945826 2013-12-02 17:49 /home/wyp/data/ml-100k.zip drwxr-xr-x - wyp supergroup 0 2013-12-02 17:49 /home/wyp/data/ml-10M100K -rw-r--r-- 2 wyp supergroup6629634 2013-12-02 17:49 /home/wyp/data/ml-10m.zip -rw-r--r-- 2 wyp supergroup 9 2013-12-02 17:49 /home/wyp/data/reduce.sh -rw-r--r-- 2 wyp supergroup 0 2013-12-02 17:49 /home/wyp/data/result
2、关掉hadoop-0.20.2-cdh3u4版本的守护线程，并将关于Hadoop1.x所有的相关的环境变量（HADOOP_HOME、PATH等相关环境变量配置）删掉（如果有），以防对Hadoop2.2.0升级的影响。
3、将Hadoop2.2.0的${HADOOP_HOMOE}/etc/hadoop/hdfs-site.xml中dfs.namenode.name.dir和dfs.datanode.data.di属性的值分别指向Hadoop1.x的${HADOOP_HOME}/conf/hdfs-site.xml中dfs.name.dir和dfs.data.dir的值。
4、启动Hadoop2.2.0（关于如何安装Hadoop2.2.0请参见本博客《在Fedora上部署Hadoop2.2.0伪布式平台》和《Hadoop2.2.0完全分布式集群平台安装与设置》）相关的守护线程。
[wyp@master hadoop]$ sbin/start-dfs.sh
Starting namenodes on [master]
master: starting namenode, logging to
/home/wyp/Downloads/hadoop/logs/hadoop-wyp-namenode-master.out
localhost: starting datanode, logging to
/home/wyp/Downloads/hadoop/logs/hadoop-wyp-datanode-master.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to
/home/wyp/Downloads/hadoop/logs/hadoop-wyp-secondarynamenode-master.out
[wyp@master hadoop]$ jps
2792 SecondaryNameNode
2587 DataNode
2945 Jps
按照正常情况，运行sbin/start-dfs.sh应该会启动SecondaryNameNode、DataNode和NameNode守护进程的，但是上面并没有成功启动NameNode，应该是有错误的，去查看hadoop-wyp-namenode-master.log：
[wyp@master hadoop]$ vim logs/hadoop-wyp-namenode-master.log
2013-12-02 17:57:40,378 FATALorg.apache.hadoop.hdfs.server.namenode.NameNode:
Exception in namenode join
java.io.IOException:
File system image contains an old layout version -19.
An upgrade to version -47 is required.
Please restart NameNode with -upgrade option.
at org.apache.hadoop.hdfs.server.namenode.
FSImage.recoverTransitionRead(FSImage.java:221)
at org.apache.hadoop.hdfs.server.namenode.
FSNamesystem.loadFSImage(FSNamesystem.java:787)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.
loadFromDisk(FSNamesystem.java:568)
at org.apache.hadoop.hdfs.server.namenode.NameNode.
loadNamesystem(NameNode.java:443)
at org.apache.hadoop.hdfs.server.namenode.NameNode.
initialize(NameNode.java:491)
at org.apache.hadoop.hdfs.server.namenode.NameNode.
(NameNode.java:684)
at org.apache.hadoop.hdfs.server.namenode.
NameNode.(NameNode.java:669)
at org.apache.hadoop.hdfs.server.namenode.NameNode.
createNameNode(NameNode.java:1254)
at org.apache.hadoop.hdfs.server.namenode.NameNode.
main(NameNode.java:1320)
(为了能够在一行里面显示，上面的结果经过换行处理)，上面的日志信息显示出File system image contains an old layout version，并提示在启动NameNode应该带上-upgrade选项，再试一下：
[wyp@master hadoop]$ sbin/hadoop-daemon.sh start namenode -upgrade [wyp@master hadoop]$ jps 2792 SecondaryNameNode 3126 Jps 2587 DataNode 3046 NameNode
export HADOOP_HEAPSIZE=15000
上面的值可以根据实际情况去设置。
好了，已经有NameNode进程了，再启动其他守护线程：
[wyp@master hadoop]$ sbin/start-yarn.sh [wyp@master hadoop]$ jps 2792 SecondaryNameNode 3222 ResourceManager 3594 Jps 3335 NodeManager 2587 DataNode 3046 NameNode
至此，升级步骤完成，你可以查看升级之后的Hadoop2.x一样可以访问之前Hadoop1.x的数据，并没有什么错误。升级完成后，会在namenode的dfs.namenode.name.dir目录和dfs.datanode.data.dir目录下多出一个previous/ 目录。如果确认升级成功后，可以根据实际情况决定是否需要删掉这个目录，运行以下命令把以前的版本删掉：
bin/hdfs dfsadmin -finalizeUpgrade
失败回滚请参见本博客：《从Hadoop1.x集群升级到Hadoop2.x失败回滚步骤》
原创文章版权归过往记忆大数据（过往记忆）所有，未经许可不得转载。
本文链接: 【从Hadoop1.x集群升级到Hadoop2.x步骤】（https://www.iteblog.com/archives/856.html）
