欢迎关注Hadoop、Spark、Flink、Hive、Hbase、Flume等大数据资料分享微信公共账号:iteblog_hadoop
  1. 文章总数:1021
  2. 浏览总数:12,914,017
  3. 评论:4035
  4. 分类目录:107 个
  5. 注册用户数:6641
  6. 最后更新:2019年4月21日
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
iteblog_hadoop
大数据技术博客公众号bigdata_ai
大数据猿:
bigdata_ai

Spark Streaming 反压(Back Pressure)机制介绍

背景

在默认情况下,Spark Streaming 通过 receivers (或者是 Direct 方式) 以生产者生产数据的速率接收数据。当 batch processing time > batch interval 的时候,也就是每个批次数据处理的时间要比 Spark Streaming 批处理间隔时间长;越来越多的数据被接收,但是数据的处理速度没有跟上,导致系统开始出现数据堆积,可能进一步导致 Executor 端出现 OOM 问题而出现失败的情况。

而在 Spark 1.5 版本之前,为了解决这个问题,对于 Receiver-based 数据接收器,我们可以通过配置 spark.streaming.receiver.maxRate 参数来限制每个 receiver 每秒最大可以接收的记录的数据;对于 Direct Approach 的数据接收,我们可以通过配置 spark.streaming.kafka.maxRatePerPartition 参数来限制每次作业中每个 Kafka 分区最多读取的记录条数。这种方法虽然可以通过限制接收速率,来适配当前的处理能力,但这种方式存在以下几个问题:

  • 我们需要事先估计好集群的处理速度以及消息数据的产生速度;
  • 这两种方式需要人工参与,修改完相关参数之后,我们需要手动重启 Spark Streaming 应用程序;
  • 如果当前集群的处理能力高于我们配置的 maxRate,而且 producer 产生的数据高于 maxRate,这会导致集群资源利用率低下,而且也会导致数据不能够及时处理。
Spark 数据堆积
如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop

反压机制

温馨提示: 为了防止伸手党,此处内容需要  评论本文  后才能查看。评论完请刷新!

Spark Streaming 反压机制的使用

在 Spark 启用反压机制很简单,只需要将 spark.streaming.backpressure.enabled 设置为 true 即可,这个参数的默认值为 false。反压机制还涉及以下几个参数,包括文档中没有列出来的:

  • spark.streaming.backpressure.initialRate: 启用反压机制时每个接收器接收第一批数据的初始最大速率。默认值没有设置。
  • spark.streaming.backpressure.rateEstimator:速率估算器类,默认值为 pid ,目前 Spark 只支持这个,大家可以根据自己的需要实现。
  • spark.streaming.backpressure.pid.proportional:用于响应错误的权重(最后批次和当前批次之间的更改)。默认值为1,只能设置成非负值。weight for response to "error" (change between last batch and this batch)
  • spark.streaming.backpressure.pid.integral:错误积累的响应权重,具有抑制作用(有效阻尼)。默认值为 0.2 ,只能设置成非负值。weight for the response to the accumulation of error. This has a dampening effect.
  • spark.streaming.backpressure.pid.derived:对错误趋势的响应权重。 这可能会引起 batch size 的波动,可以帮助快速增加/减少容量。默认值为0,只能设置成非负值。weight for the response to the trend in error. This can cause arbitrary/noise-induced fluctuations in batch size, but can also help react quickly to increased/reduced capacity.
  • spark.streaming.backpressure.pid.minRate:可以估算的最低费率是多少。默认值为 100,只能设置成非负值。
本博客文章除特别声明,全部都是原创!
转载本文请加上:转载自过往记忆(https://www.iteblog.com/)
本文链接: 【Spark Streaming 反压(Back Pressure)机制介绍】(https://www.iteblog.com/archives/2323.html)
喜欢 (37)
分享 (0)
发表我的评论
取消评论

表情
本博客评论系统带有自动识别垃圾评论功能,请写一些有意义的评论,谢谢!
(295)个小伙伴在吐槽
  1. 不做伸手党

    猫的歪2019-03-11 14:25 回复
  2. 介绍的非常清楚

    清风2019-03-11 10:19 回复
  3. 不做伸手档

    lqnbing2019-03-08 17:03 回复
  4. 不做伸手党

    ❤️2019-03-07 11:42 回复
  5. 看看

    给力如花2019-03-07 10:42 回复
  6. 非常好啊

    此生何求2019-03-06 16:11 回复
  7. 楼主,写的很棒

    ┈ㄗ‘ 影孒2019-03-05 16:13 回复
  8. 感谢楼主,写的很棒!

    Dam10292019-03-04 16:42 回复
  9. 解决实际难题

    sun2019-02-28 20:53 回复
  10. 别失望最好

    leo2019-02-28 17:16 回复
  11. 希望不白白忙活一通

    SUNS2019-02-26 16:26 回复
  12. 牛逼

    “笑”2019-02-25 19:49 回复
  13. 厉害厉害!

    某某某2019-02-23 20:28 回复
  14. 大佬厉害!!

    早安晚安勿忘心安2019-02-20 16:46 回复
  15. 非常赞的blog,博主辛苦

    罗兰嘉洛斯2019-02-19 21:46 回复
  16. 不做伸手党

    七 友2019-02-19 11:43 回复
  17. 大佬,666,继续加油

    『メ詤ジ訁』2019-02-18 16:50 回复
  18. 大佬厉害

    一万八2019-02-18 16:25 回复
  19. 大佬

    十月的某天2019-02-17 17:04 回复
  20. 看看

    xuanzhiyang2019-02-15 16:27 回复
  21. 写的赞~

    -_-2019-02-13 19:29 回复
  22. 写的很棒

    李为民2019-02-12 08:54 回复
  23. 这样子 很麻烦

    2019-01-24 14:19 回复
  24. 大佬666

    lujiankang952019-01-23 11:37 回复
  25. 不做伸手党

    tylerWei_HIT2019-01-23 11:21 回复
  26. 谢谢

    阿泳L2019-01-22 16:33 回复
  27. 不做伸手党

    Anan2019-01-21 09:35 回复
  28. 打个哥哥

    vaja2019-01-18 16:27 回复
  29. 辛苦博主

    憨人2019-01-16 10:24 回复
  30. 评论完再刷新噢噢

    李鱼王2019-01-15 20:52 回复
  31. 先评论下

    magical19892019-01-14 14:17 回复
  32. 非常赞的blog,博主辛苦

    冰山烈焰2019-01-12 18:13 回复
  33. 支持过往记忆

    小王爷2019-01-11 10:04 回复
  34. 支持过往记忆

    小王爷2019-01-11 10:04 回复
  35. 一直在关注文章和公众号,向博主学习~

    ~2019-01-09 13:59 回复
  36. 了解一下

    STAR2019-01-09 11:49 回复
  37. 了解一下

    淡抹伊人泪、|泪落伊人妆2019-01-08 14:20 回复
  38. 了解一下反压机制

    shanying154220602019-01-08 14:06 回复
  39. 了解下反压机制

    鲜衣怒马少年郎2019-01-06 13:51 回复
  40. 好好学习一下

    以心吻美2019-01-04 23:40 回复
    • 霞姐好 :mrgreen:

      Realist2019-01-07 08:56 回复
  41. 学习一哈

    郭小白2019-01-04 20:21 回复
  42. 了解一下哈

    你别皱眉啊2019-01-04 10:03 回复
  43. 了解一下反压

    Xxx2019-01-03 10:28 回复
  44. 了解一下回压机制

    Zava2019-01-02 22:26 回复
  45. 被逼comment,有点反感

    qwerty_2019-01-02 09:33 回复
    • 都像你这样,谁还愿意给你们写原创文章?

      w3970907702019-01-02 20:23 回复
  46. 被逼comment,有点反感

    种树2018-12-28 16:25 回复
    • 都像你这样,谁还愿意给你们写原创文章?

      w3970907702019-01-02 20:23 回复
      • 那应该写什么?和下面一样:”了解一下“?这些言论有实际意义吗?别总是把自己的意识强加给人!

        种树2019-01-03 14:56 回复
        • 你看到我哪里强加意识了?这文章谁强迫你看了?我自己的文章难道让人评论一下都不行?很讨厌你们这些伸手党。

          w3970907702019-01-03 16:52 回复
          • 了解一下

            种树2019-01-04 10:46
  47. 博主是在哪家大牛公司工作啊

    6707428812018-12-25 12:01 回复
  48. 反压机制 mark and learn

    风者归来2018-12-24 14:05 回复
  49. 找的就是他,但是不知道能不能解决我的问题

    1⃣️点滴慈善2018-12-20 20:00 回复
  50. 真好

    Joker.2018-12-12 18:34 回复
13456