欢迎关注Hadoop、Spark、Flink、Hive、Hbase、Flume等大数据资料分享微信公共账号:iteblog_hadoop
  1. 文章总数:1050
  2. 浏览总数:13,994,591
  3. 评论:4145
  4. 分类目录:111 个
  5. 注册用户数:7002
  6. 最后更新:2019年8月23日
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
iteblog_hadoop
大数据技术博客公众号bigdata_ai
开发爱好者社区:
bigdata_ai

Spark Streaming 反压(Back Pressure)机制介绍

背景

在默认情况下,Spark Streaming 通过 receivers (或者是 Direct 方式) 以生产者生产数据的速率接收数据。当 batch processing time > batch interval 的时候,也就是每个批次数据处理的时间要比 Spark Streaming 批处理间隔时间长;越来越多的数据被接收,但是数据的处理速度没有跟上,导致系统开始出现数据堆积,可能进一步导致 Executor 端出现 OOM 问题而出现失败的情况。

而在 Spark 1.5 版本之前,为了解决这个问题,对于 Receiver-based 数据接收器,我们可以通过配置 spark.streaming.receiver.maxRate 参数来限制每个 receiver 每秒最大可以接收的记录的数据;对于 Direct Approach 的数据接收,我们可以通过配置 spark.streaming.kafka.maxRatePerPartition 参数来限制每次作业中每个 Kafka 分区最多读取的记录条数。这种方法虽然可以通过限制接收速率,来适配当前的处理能力,但这种方式存在以下几个问题:

  • 我们需要事先估计好集群的处理速度以及消息数据的产生速度;
  • 这两种方式需要人工参与,修改完相关参数之后,我们需要手动重启 Spark Streaming 应用程序;
  • 如果当前集群的处理能力高于我们配置的 maxRate,而且 producer 产生的数据高于 maxRate,这会导致集群资源利用率低下,而且也会导致数据不能够及时处理。
Spark 数据堆积
如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop

反压机制

温馨提示: 为了防止伸手党,此处内容需要  评论本文  后才能查看。评论完请刷新!

Spark Streaming 反压机制的使用

在 Spark 启用反压机制很简单,只需要将 spark.streaming.backpressure.enabled 设置为 true 即可,这个参数的默认值为 false。反压机制还涉及以下几个参数,包括文档中没有列出来的:

  • spark.streaming.backpressure.initialRate: 启用反压机制时每个接收器接收第一批数据的初始最大速率。默认值没有设置。
  • spark.streaming.backpressure.rateEstimator:速率估算器类,默认值为 pid ,目前 Spark 只支持这个,大家可以根据自己的需要实现。
  • spark.streaming.backpressure.pid.proportional:用于响应错误的权重(最后批次和当前批次之间的更改)。默认值为1,只能设置成非负值。weight for response to "error" (change between last batch and this batch)
  • spark.streaming.backpressure.pid.integral:错误积累的响应权重,具有抑制作用(有效阻尼)。默认值为 0.2 ,只能设置成非负值。weight for the response to the accumulation of error. This has a dampening effect.
  • spark.streaming.backpressure.pid.derived:对错误趋势的响应权重。 这可能会引起 batch size 的波动,可以帮助快速增加/减少容量。默认值为0,只能设置成非负值。weight for the response to the trend in error. This can cause arbitrary/noise-induced fluctuations in batch size, but can also help react quickly to increased/reduced capacity.
  • spark.streaming.backpressure.pid.minRate:可以估算的最低费率是多少。默认值为 100,只能设置成非负值。
本博客文章除特别声明,全部都是原创!
转载本文请加上:转载自过往记忆(https://www.iteblog.com/)
本文链接: 【Spark Streaming 反压(Back Pressure)机制介绍】(https://www.iteblog.com/archives/2323.html)
喜欢 (47)
分享 (0)
发表我的评论
取消评论

表情
本博客评论系统带有自动识别垃圾评论功能,请写一些有意义的评论,谢谢!
(372)个小伙伴在吐槽
  1. 评论才能看----增加无效评论。。。

    Wang Xinming2018-12-12 14:28 回复
  2. 吐槽 关注网站很久了 真的是懒得注册

    Dapor2018-12-12 13:53 回复
  3. 感谢博主分享.........

    秋枫ヽ2018-12-11 15:42 回复
  4. 好东西,感谢博主分享~

    _Always___2018-12-11 15:36 回复
  5. 了解下反压,很棒

    ニ↙呼吸乀2018-12-11 14:22 回复
  6. 了解下反压,很棒

    !!!2018-12-10 11:53 回复
  7. 😉 了解一下

    KLordy2018-12-10 11:24 回复
  8. 谢谢, 正好对back pressure这里不是很清楚, 希望能深入了解

    LMagic2018-12-07 16:27 回复
  9. Spark有什么不懂的,我第一时间就是搜索过往记忆,谢谢博主,崇拜

    熊熊2018-12-06 19:57 回复
  10. 感谢博主,多谢!1

    不知道不了解没听过2018-12-04 16:57 回复
  11. 感谢博主,多谢!

    carl cao2018-12-04 09:35 回复
  12. 博客内容清晰易懂,进来学习下

    D2O1112018-11-30 19:25 回复
  13. 123445hahhah很棒

    云梦泽2018-11-30 12:02 回复
  14. 了解下反压,很棒

    yssyssu2018-11-30 00:07 回复
  15. 感谢楼主,学习反压机制

    以梦为马丶不负昭华2018-11-29 14:59 回复
  16. 学习反压机制

    风倚云2018-11-29 11:02 回复
  17. 了解spark反压机制

    北半球的诱惑2018-11-27 17:04 回复
  18. 看看反压机制

    丶你很傻2018-11-27 10:34 回复
  19. 反压机制效果很明显 队列堆积情况下啊 可以降低生产数据数据量,等队列恢复

    lic912018-11-27 09:38 回复
  20. 多谢多谢啦

    一个男孩_19932018-11-23 16:25 回复
  21. 很有用!

    louis2018-11-22 15:53 回复
  22. 反压机制效果很明。

    feiyue zhang2018-11-21 23:34 回复
  23. 反压机制效果很明。

    自由零2018-11-18 11:53 回复
  24. 发表我的评论

    自由零2018-11-18 11:52 回复
  25. 反压机制效果很明显 队列堆积情况下啊 可以降低生产数据数据量,等队列恢复

    huangzhijun22018-11-11 21:55 回复
  26. 多谢多谢

    嘿嘿2018-10-25 18:01 回复
  27. 来学习的

    落雪飞花2018-10-25 14:30 回复
  28. 学习了,感谢分享

    1000112018-10-24 23:44 回复
  29. 写的挺好的,学习了

    zhaoqi_dev2018-10-19 10:13 回复
  30. 学习学习

    GR2018-10-18 20:12 回复
  31. 大佬

    L2018-10-18 11:30 回复
  32. 大佬就是厉害

    huldarchen2018-10-16 18:35 回复
  33. 学习学习

    雪羽吟殇奈卿何2018-10-16 17:53 回复
  34. 和大佬学习

    qzhang19062018-10-16 16:16 回复
  35. 学习学习

    指痕/tsh2018-10-15 20:36 回复
  36. 学习学习

    neuhan2018-10-15 15:56 回复
  37. 膜拜

    超越昨天的自己_PL2018-10-12 23:09 回复
  38. 学习一下,感谢分享

    Test_server2018-10-12 09:08 回复
  39. 学习了

    ㄣ活着2018-10-11 14:40 回复
  40. 学习了

    造梦先生2018-10-10 10:58 回复
  41. 学习了

    wz3424201282018-10-09 10:17 回复
  42. 学习了

    见龙在田2018-10-09 08:51 回复
  43. 学习,学习

    细思极恐2018-10-08 11:44 回复
  44. 如果kafka没有保存offset,反压机制限制了当前批次处理的数据,当当前批次处理完之后,下一个批次处理数据时会不会出现上个批次未处理完的数据丢失问题

    dreamboatxutf2018-10-08 10:24 回复
    • 开启了反压机制和你丢不丢数没关系的,这个只是会限制每个批次处理的数据量,丢数逻辑之前怎么处理,现在还应该怎么处理。

      w3970907702018-10-08 13:40 回复
  45. backpressure 最初的想法源自于 jdk9 的 reactive-streams , http://www.reactive-streams.org/

    白夜叉2018-10-04 17:16 回复
  46. 切中要点,学习了

    ria,ne:2018-09-29 09:02 回复
  47. 写的不错

    勇敢前行2018-09-28 21:20 回复
  48. 学习了,感谢!

    白夜叉2018-09-28 17:38 回复
  49. 写的不错 简洁明了

    changing2018-09-27 11:44 回复
  50. 学习

    .2018-09-26 11:38 回复