欢迎关注Hadoop、Spark、Flink、Hive、Hbase、Flume等大数据资料分享微信公共账号:iteblog_hadoop
  1. 文章总数:976
  2. 浏览总数:11,916,676
  3. 评论:3931
  4. 分类目录:106 个
  5. 注册用户数:6089
  6. 最后更新:2018年12月11日
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
iteblog_hadoop
大数据技术博客公众号bigdata_ai
大数据猿:
bigdata_ai

Hadoop历史服务器详解

  Hadoop自带了一个历史服务器,可以通过历史服务器查看已经运行完的Mapreduce作业记录,比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下,Hadoop历史服务器是没有启动的,我们可以通过下面的命令来启动Hadoop历史服务器

$ sbin/mr-jobhistory-daemon.sh   start historyserver

  这样我们就可以在相应机器的19888端口上打开历史服务器的WEB UI界面。可以查看已经运行完的作业情况。历史服务器可以单独在一台机器上启动,主要是通过以下的参数配置:

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>0.0.0.0:10020</value>
</property>

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>0.0.0.0:19888</value>
</property>

  上面的参数是在mapred-site.xml文件中进行配置,mapreduce.jobhistory.address和mapreduce.jobhistory.webapp.address默认的值分别是0.0.0.0:10020和0.0.0.0:19888,大家可以根据自己的情况进行相应的配置,参数的格式是host:port。配置完上述的参数之后,重新启动Hadoop jobhistory,这样我们就可以在mapreduce.jobhistory.webapp.address参数配置的主机上对Hadoop历史作业情况经行查看。
  很多人就会问了,这些历史数据是存放在哪里的?是存放在HDFS中的,我们可以通过下面的配置来设置在HDFS的什么目录下存放历史作业记录:

<property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>${yarn.app.mapreduce.am.staging-dir}/history/done</value>
</property>

<property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>${yarn.app.mapreduce.am.staging-dir}
                         /history/done_intermediate</value>
</property>

<property>
    <name>yarn.app.mapreduce.am.staging-dir</name>
    <value>/tmp/hadoop-yarn/staging</value>
</property>

  上面的配置都默认的值,我们可以在mapred-site.xml文件中进行修改。其中,mapreduce.jobhistory.done-dir参数的意思是在什么目录下存放已经运行完的Hadoop作业记录;mapreduce.jobhistory.intermediate-done-dir的意思是正在运行的Hadoop作业记录。我们可以到mapreduce.jobhistory.done-dir参数配置的目录下看看里面存放的是什么东西:

[wyp@master /home/wyp/hadoop]# bin/hadoop fs -ls /jobs/done/
Found 2 items
drwxrwx---   - wyp supergroup          0 2013-12-03 23:36 /jobs/done/2013
drwxrwx---   - wyp supergroup          0 2014-02-01 00:02 /jobs/done/2014

[wyp@master /home/wyp/hadoop]# bin/hadoop fs -ls /jobs/done/2014/02/16
Found 27 items
drwxrwx--- - wyp supergroup 0 2014-02-16 02:02 /jobs/done/2014/02/16/001216
drwxrwx--- - wyp supergroup 0 2014-02-16 02:44 /jobs/done/2014/02/16/001217
drwxrwx--- - wyp supergroup 0 2014-02-16 03:38 /jobs/done/2014/02/16/001218
drwxrwx--- - wyp supergroup 0 2014-02-16 04:20 /jobs/done/2014/02/16/001219
drwxrwx--- - wyp supergroup 0 2014-02-16 05:14 /jobs/done/2014/02/16/001220

[wyp@master hadoop]# bin/hadoop fs -ls /jobs/done/2014/02/16/001216
Found 1318 items
-rwxrwx---   3 wyp    supergroup   45541335 2014-02-16 00:11 /jobs/done/2014
/02/16/001216/job_1388830974669_1216161-1392478837250-wyp-insert+overwrite
+table+qt_city_query_ana...e%28Stage-1392480689141-5894-33-SUCCEEDED-wyp.jhist
-rwxrwx---   3 wyp    supergroup     193572 2014-02-16 00:11 /jobs/done
/2014/02/16/001216/job_1388830974669_1216161_conf.xml
-rwxrwx---   3 wyp    supergroup   45594759 2014-02-16 00:11 /jobs/done/2014
/02/16/001216/job_1388830974669_1216162-1392478837250-wyp-insert+overwrite
+table+qt_city_query_ana...e%28Stage-1392480694818-5894-33-SUCCEEDED-wyp.jhist
-rwxrwx---   3 wyp    supergroup     193572 2014-02-16 00:11 /jobs/done
/2014/02/16/001216/job_1388830974669_1216162_conf.xml

  通过上面的结果我们可以得到一下几点:
  (1)、历史作业记录是存放在HDFS目录中;
  (2)、由于历史作业记录可能非常多,所以历史作业记录是按照年/月/日的形式分别存放在相应的目录中,这样便于管理和查找;
  (3)、对于每一个Hadoop历史作业记录相关信息都用两个文件存放,后缀名分别为*.jhist,*.xml。*.jhist文件里存放的是具体Hadoop作业的详细信息,如下:

  {
     "type": "JOB_INITED",
     "event": {
        "org.apache.hadoop.mapreduce.jobhistory.JobInited": {
           "jobid": "job_1388830974669_1215999",
           "launchTime": 1392477383583,
           "totalMaps": 1,
           "totalReduces": 1,
           "jobStatus": "INITED",
           "uberized": false
        }
     }
  }

  这是Hadoop JOB初始化的一条信息,通过观察我们知道,*.jhist文件里面全部都是Json格式的数据。根据type进行区分这条Json的含义,在Hadoop中,总共包含了一下几个type:

  "JOB_SUBMITTED",
  "JOB_INITED",
  "JOB_FINISHED",
  "JOB_PRIORITY_CHANGED",
  "JOB_STATUS_CHANGED",
  "JOB_FAILED",
  "JOB_KILLED",
  "JOB_ERROR",
  "JOB_INFO_CHANGED",
  "TASK_STARTED",
  "TASK_FINISHED",
  "TASK_FAILED",
  "TASK_UPDATED",
  "NORMALIZED_RESOURCE",
  "MAP_ATTEMPT_STARTED",
  "MAP_ATTEMPT_FINISHED",
  "MAP_ATTEMPT_FAILED",
  "MAP_ATTEMPT_KILLED",
  "REDUCE_ATTEMPT_STARTED",
  "REDUCE_ATTEMPT_FINISHED",
  "REDUCE_ATTEMPT_FAILED",
  "REDUCE_ATTEMPT_KILLED",
  "SETUP_ATTEMPT_STARTED",
  "SETUP_ATTEMPT_FINISHED",
  "SETUP_ATTEMPT_FAILED",
  "SETUP_ATTEMPT_KILLED",
  "CLEANUP_ATTEMPT_STARTED",
  "CLEANUP_ATTEMPT_FINISHED",
  "CLEANUP_ATTEMPT_FAILED",
  "CLEANUP_ATTEMPT_KILLED",
  "AM_STARTED"

  而*.xml文件里面记录的是相应作业运行时候的完整参数配置,大家可以进去查看一下。
  (4)、每一个作业的历史记录都存放在一个单独的文件中。
  mapreduce.jobhistory.intermediate-done-dir配置的目录下主要存放的是当前正在运行的Hadoop任务的记录相关信息,感兴趣的同学可以进去看看,这里就不介绍了。
  如果对Hadoop历史服务器WEB UI上提供的数据不满意,我们就可以通过对mapreduce.jobhistory.done-dir配置的目录进行分析,得到我们感兴趣的信息,比如统计某天中运行了多少个map、运行最长的作业用了多少时间、每个用户运行的Mapreduce任务数、总共运行了多少Mapreduce数等信息,这样对监控Hadoop集群是很好的,我们可以根据那些信息来确定怎么给某个用户分配资源等等。

  细心的同学可能发现,在Hadoop历史服务器的WEB UI上最多显示20000个历史的作业记录信息;其实我们可以通过下面的参数进行配置,然后重启一下Hadoop jobhistory即可。

<property>
    <name>mapreduce.jobhistory.joblist.cache.size</name>
    <value>20000</value>
</property>
本博客文章除特别声明,全部都是原创!
转载本文请加上:转载自过往记忆(https://www.iteblog.com/)
本文链接: 【Hadoop历史服务器详解】(https://www.iteblog.com/archives/936.html)
喜欢 (28)
分享 (0)
发表我的评论
取消评论

表情
本博客评论系统带有自动识别垃圾评论功能,请写一些有意义的评论,谢谢!
(8)个小伙伴在吐槽
  1. 过往记忆你好:我们的集群是CDH5版本,现在的问题是“日志聚合功能”不可用,在mapred-site.xml中配置了你上面提到的所有参数,指定1台机器作为historyServer,然后在yarn-site.xml中配置了yarn.log-aggregation-enable的值为true,在指定historyServer的机器上启动了historyServer服务。但通过web访问history服务器查看历史任务的日志时仍提示“Aggregation is not enabled,Try the nodemanager at XXXX:45970”,期待您的答复。
    天天向上2016-01-12 18:32 回复
  2. federation JH怎么配
    xkevin2015-02-06 17:31 回复
  3. 请问,hadoop2.2 的单机条件下,配置好后,能打开50070,8088,19888端口,也能正确运行 wordcount,jar,但是19888 jobhistory没有提交的job记录,是怎么回事呢?
    麦兜2014-04-02 20:17 回复
    • 是不是你没有配置好?jobhistory服务器你有没有打开?
      w3970907702014-04-08 17:09 回复
      • 新人求助
        最美不过遇见2015-10-21 18:24 回复
    • 请问后面找到了是什么原因吗?我也是这样,配置好了,也启动了jobhistory,19888端口可以访问,但是就是没有作业记录
      最美不过遇见2015-10-21 18:22 回复
      • 启动jobhistory的进程是否可以访问$mapreduce.jobhistory.done-dir配置的目录呢?不能看到作业记录你在jobhistory进程的日志文件里面有没有找到相关的异常信息呢?
        w3970907702015-10-22 08:37 回复
        • 您好,谢谢您的回复,后面我找到了相关job信息,但是如果是通过eclipse运行的wordcount程序的话就没有相关信息,我在想是为啥, 😈
          最美不过遇见2015-10-22 09:02 回复