欢迎关注Hadoop、Spark、Flink、Hive、Hbase、Flume等大数据资料分享微信公共账号:iteblog_hadoop
  1. 文章总数:1075
  2. 浏览总数:14,663,734
  3. 评论:4200
  4. 分类目录:114 个
  5. 注册用户数:7081
  6. 最后更新:2019年11月20日
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
iteblog_hadoop
大数据技术博客公众号bigdata_ai
开发爱好者社区:
bigdata_ai

Apache Spark 历史服务器(HistoryServer)日志过大解决

最近突然收到线上服务器发出来的磁盘满了的报警,然后到服务器上发现 Apache Spark 的历史服务器(HistoryServer)日志居然占了近 500GB,如下所示:

[root@iteblog.com spark]# ll -h
total 328
-rw-rw-r-- 1 spark spark 15.4G Jul 11 13:09 spark-spark-org.apache.spark.deploy.history.HistoryServer-1-iteblog.com.out
-rw-rw-r-- 1 spark spark  369M May 30 09:07 spark-spark-org.apache.spark.deploy.history.HistoryServer-1-iteblog.com.out.1
-rw-rw-r-- 1 spark spark 13.6G May 11 21:36 spark-spark-org.apache.spark.deploy.history.HistoryServer-1-iteblog.com.out.2
-rw-rw-r-- 1 spark spark  4.4G Apr 04 11:04 spark-spark-org.apache.spark.deploy.history.HistoryServer-1-iteblog.com.out.3
-rw-rw-r-- 1 spark spark 11.8G Mar 24 12:47 spark-spark-org.apache.spark.deploy.history.HistoryServer-1-iteblog.com.out.4
-rw-rw-r-- 1 spark spark  7.5G Feb 12 23:43 spark-spark-org.apache.spark.deploy.history.HistoryServer-1-iteblog.com.out.5
...

原来是因为 HistoryServer 启动的时候使用了默认的 log4j.properties 文件里面的配置,导致每次只有重启 HistoryServer 的时候日志才会切割,如果不重启 HistoryServer,日志文件会无限制的增长下去;而且切割出去的日志文件也不会被 Spark 系统清理,久而久之导致存放 HistoryServer 日志的文件夹越来越大,这就导致了今天的磁盘报警。

Apache Spark 历史服务器(HistoryServer)日志过大解决
如果想及时了解Spark、Hadoop或者HBase相关的文章,欢迎关注微信公众号:iteblog_hadoop

问题已经找到,解决这个问题的方法也很直接,就是重新定义 Spark 自带的 log4j.properties 文件,将默认的 org.apache.log4j.ConsoleAppender 修改成 org.apache.log4j.RollingFileAppender,并设置每个日志文件最大为1G,最多保持7个这样的文件,具体如下:

log4j.logger.org.apache.spark.deploy.history=info,historyserver
log4j.appender.historyserver=org.apache.log4j.RollingFileAppender
log4j.appender.historyserver.layout=org.apache.log4j.PatternLayout
log4j.appender.historyserver.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n
log4j.appender.historyserver.MaxFileSize=1GB
log4j.appender.historyserver.MaxBackupIndex=7
log4j.appender.historyserver.File=/data/logs/spark/historyserver.log

经过这样的配置,服务器的日志如下

[root@iteblog.com spark]# ll -h
-rw-rw-r-- 1 spark spark  235M Jul 11 13:09 historyserver.log
-rw-rw-r-- 1 spark spark    1G Jul 11 13:09 historyserver.log.1
-rw-rw-r-- 1 spark spark    1G Jul 11 13:07 historyserver.log.2

可以看到,HistoryServer 的日志超过1GB就会自动切割,而且最多只保存7个这样的文件,占用的磁盘空间可控。

本文虽然介绍的是 Spark HistoryServer 日志磁盘占用问题,我们可以举一反三,对于 Spark Streaming 的输出日志也可以使用类似的方法解决;同理,Spark 的 ThriftServer 也可以采用这种方法解决。

本博客文章除特别声明,全部都是原创!
转载本文请加上:转载自过往记忆(https://www.iteblog.com/)
本文链接: 【Apache Spark 历史服务器(HistoryServer)日志过大解决】(https://www.iteblog.com/archives/2438.html)
喜欢 (0)
分享 (0)
发表我的评论
取消评论

表情
本博客评论系统带有自动识别垃圾评论功能,请写一些有意义的评论,谢谢!