欢迎关注Hadoop、Spark、Flink、Hive、Hbase、Flume等大数据资料分享微信公共账号:iteblog_hadoop
  1. 文章总数:1037
  2. 浏览总数:13,644,172
  3. 评论:4111
  4. 分类目录:108 个
  5. 注册用户数:6960
  6. 最后更新:2019年6月27日
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
iteblog_hadoop
大数据技术博客公众号bigdata_ai
Hadoop技术博文:
bigdata_ai

Spark Streaming 反压(Back Pressure)机制介绍

背景

在默认情况下,Spark Streaming 通过 receivers (或者是 Direct 方式) 以生产者生产数据的速率接收数据。当 batch processing time > batch interval 的时候,也就是每个批次数据处理的时间要比 Spark Streaming 批处理间隔时间长;越来越多的数据被接收,但是数据的处理速度没有跟上,导致系统开始出现数据堆积,可能进一步导致 Executor 端出现 OOM 问题而出现失败的情况。

而在 Spark 1.5 版本之前,为了解决这个问题,对于 Receiver-based 数据接收器,我们可以通过配置 spark.streaming.receiver.maxRate 参数来限制每个 receiver 每秒最大可以接收的记录的数据;对于 Direct Approach 的数据接收,我们可以通过配置 spark.streaming.kafka.maxRatePerPartition 参数来限制每次作业中每个 Kafka 分区最多读取的记录条数。这种方法虽然可以通过限制接收速率,来适配当前的处理能力,但这种方式存在以下几个问题:

  • 我们需要事先估计好集群的处理速度以及消息数据的产生速度;
  • 这两种方式需要人工参与,修改完相关参数之后,我们需要手动重启 Spark Streaming 应用程序;
  • 如果当前集群的处理能力高于我们配置的 maxRate,而且 producer 产生的数据高于 maxRate,这会导致集群资源利用率低下,而且也会导致数据不能够及时处理。
Spark 数据堆积
如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop

反压机制

温馨提示: 为了防止伸手党,此处内容需要  评论本文  后才能查看。评论完请刷新!

Spark Streaming 反压机制的使用

在 Spark 启用反压机制很简单,只需要将 spark.streaming.backpressure.enabled 设置为 true 即可,这个参数的默认值为 false。反压机制还涉及以下几个参数,包括文档中没有列出来的:

  • spark.streaming.backpressure.initialRate: 启用反压机制时每个接收器接收第一批数据的初始最大速率。默认值没有设置。
  • spark.streaming.backpressure.rateEstimator:速率估算器类,默认值为 pid ,目前 Spark 只支持这个,大家可以根据自己的需要实现。
  • spark.streaming.backpressure.pid.proportional:用于响应错误的权重(最后批次和当前批次之间的更改)。默认值为1,只能设置成非负值。weight for response to "error" (change between last batch and this batch)
  • spark.streaming.backpressure.pid.integral:错误积累的响应权重,具有抑制作用(有效阻尼)。默认值为 0.2 ,只能设置成非负值。weight for the response to the accumulation of error. This has a dampening effect.
  • spark.streaming.backpressure.pid.derived:对错误趋势的响应权重。 这可能会引起 batch size 的波动,可以帮助快速增加/减少容量。默认值为0,只能设置成非负值。weight for the response to the trend in error. This can cause arbitrary/noise-induced fluctuations in batch size, but can also help react quickly to increased/reduced capacity.
  • spark.streaming.backpressure.pid.minRate:可以估算的最低费率是多少。默认值为 100,只能设置成非负值。
本博客文章除特别声明,全部都是原创!
转载本文请加上:转载自过往记忆(https://www.iteblog.com/)
本文链接: 【Spark Streaming 反压(Back Pressure)机制介绍】(https://www.iteblog.com/archives/2323.html)
喜欢 (43)
分享 (0)
发表我的评论
取消评论

表情
本博客评论系统带有自动识别垃圾评论功能,请写一些有意义的评论,谢谢!
(348)个小伙伴在吐槽
  1. 学习下

    /cy2019-05-22 15:28 回复
  2. 感谢楼主分享,写的非常好,学习了

    hao2019-05-18 10:42 回复
  3. mark一下

    Mr_Master2019-05-16 09:31 回复
  4. mark 好好学习

    hery2019-05-15 15:04 回复
  5. 感谢楼主分享,写的非常好,学习了

    yingmin.li2019-05-14 00:25 回复
  6. 等待

    Wang2019-05-13 16:37 回复
  7. mark 一下

    You are my Faith °2019-05-12 18:15 回复
  8. 感谢楼主分享,写的非常好,学习了

    草根.su2019-05-10 15:22 回复
  9. 看看

    元气少女李怼怼2019-05-10 14:45 回复
  10. 看看

    加州屌丝2019-05-10 00:00 回复
  11. 感谢分享,学到了

    天心有情2019-05-08 10:39 回复
  12. 看看

    夜龍2019-05-08 09:51 回复
  13. 看一下

    哈妹子22019-05-06 21:51 回复
  14. 感谢分享

    clo2019-05-06 15:33 回复
  15. 啊啊啊啊啊啊啊

    杨泽_✅已认证2019-05-06 11:01 回复
  16. mark一下

    JThink2019-04-28 14:28 回复
    • mark 二下

      Aiur2019-04-30 15:52 回复
  17. Mark一下

    子秦11172019-04-26 15:07 回复
  18. mark 一下

    ε⺌Ki◥ng2019-04-26 11:32 回复
  19. mark 一下

    ollielin2019-04-25 13:15 回复
  20. 哪位大佬能告诉我一下spark.streaming.backpressure.enabled具体在哪设置的啊

    往后2019-04-24 23:07 回复
  21. mark 一下

    陈凯yuchuan2019-04-23 21:41 回复
  22. mark一下!!!

    一路有你2019-04-23 21:29 回复
  23. mark一下

    17岁码农想打职业2019-04-22 14:30 回复
  24. 学习了

    been2019-04-21 23:41 回复
  25. mark一下

    ya_hao2019-04-21 20:01 回复
  26. 学习一下

    只若初见2019-04-21 11:55 回复
  27. 一直想了解反压机制的底层详情

    sungithub2019-04-19 23:50 回复
  28. 一直想了解啥是背压

    迷路剑客2019-04-17 21:23 回复
  29. 不错!

    LittleMonkeyJustBelongToU2019-04-16 16:15 回复
  30. 感谢分享!

    2019-04-12 21:00 回复
  31. 感谢分享!

    sleeplotus2019-04-12 15:26 回复
  32. 学习

    OhuoOhuo2019-04-08 10:18 回复
  33. 文章很好,谢谢

    迭代2019-04-07 21:24 回复
  34. 学习

    迭代2019-04-07 21:24 回复
  35. 学习

    shen9637892019-04-05 18:12 回复
  36. 学习下

    无解肥2019-04-03 16:40 回复
  37. 学习下反压机制

    Victory的秘密2019-04-02 18:42 回复
  38. 学习一下

    等等少侠2019-04-02 10:37 回复
  39. 学习一下反压

    Joe2019-03-31 23:09 回复
  40. 学习下反压机制

    Escape2019-03-26 11:27 回复
  41. 不错不错。

    无心2019-03-21 18:26 回复
  42. 反压对性能提升有多少

    幻听2019-03-21 14:19 回复
  43. 学习学习

    goldlone2019-03-18 16:58 回复
  44. 好想学习一下反压机制

    milton2019-03-17 10:40 回复
  45. gk0916202019-03-15 22:38 回复
  46. 感觉应该不错

    null2019-03-15 11:23 回复
  47. 好想学习一下反压机制

    ......2019-03-14 16:16 回复
  48. 之前对背压机制一直不太了解,现在终于看明白了

    Wen2019-03-13 20:00 回复
  49. 挺好的讲的

    转身已陌路2019-03-12 10:14 回复
  50. 介绍的非常清楚

    Young_Xin2019-03-11 15:46 回复
14567