欢迎关注Hadoop、Spark、Flink、Hive、Hbase、Flume等大数据资料分享微信公共账号:iteblog_hadoop
  1. 文章总数:978
  2. 浏览总数:11,981,818
  3. 评论:3939
  4. 分类目录:106 个
  5. 注册用户数:6130
  6. 最后更新:2018年12月15日
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
iteblog_hadoop
大数据技术博客公众号bigdata_ai
大数据猿:
bigdata_ai

Apache Kafka 2.0.0 正式发布,多项重要功能更新

Apache Kafka 2.0.0 在昨天正式发布了,其包含了许多重要的特性,这里我列举了一些比较重要的:


如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop
  • 增加了前缀通配符访问控制(ACL)的支持,详见 KIP-290,这样我们可以更加细粒度的进行访问控制;
  • 更全面的数据安全支持,KIP-255 里面添加了一个框架,我们可以使用OAuth2 bearer tokens 来对访问 Kafka Brokers 进行权限控制。
  • 现在,SSL连接默认启用主机名验证(Host name verification),以确保默认 SSL 配置不受中间人攻击的影响。 如果需要,您可以禁用此验证。
  • 现在,我们可以在不重启 Broker 的情况下动态更新 SSL 信任库( SSL truststores)。我们还可以在启动 Broker 之前在 ZooKeeper 中为 Broker 侦听器(broker listeners)配置安全性,包括 SSL 密钥库和信任库密码以及 SASL的JAAS配置。 使用此新功能,您可以在 ZooKeeper 中以加密形式存储敏感密码配置,而不是在 Broker 属性文件中以明文形式存储。
  • 复制协议已得到改进,以避免在 fast leader failover 期间 leader 和 follower 之间的日志分歧(log divergence)。
  • 保证在线升级的方便性,在这一次的 2.0.0 版本中,更多相关的属性被加了进来,详情请参见 KIP-268、KIP-279、KIP-283 等等
  • 简化了 Kafka Streams 升级过程,详情参见 KIP-268
  • 进一步加强了 Kafka 的可监控性,包括添加了很多系统静态属性以及动态健康指标,请参见 KIP-223、KIP-237、KIP-272 等等。
  • 在即将发布的 2.0 版本中,加入了另一个“领先”指标(lead metrics),定义为分区首端(log-start-offset)与消费者在分区上的位置距离,当此指标趋近于零时,代表消费者有跌出可消费范围因而丢失数据的危险。

好了时间不多了,该上班去了,更多详细的更新请参见 Apache Kafka 的官方文档:http://kafka.apache.org/downloads 以及 《Kafka 2.0.0 重磅发布,新特性独家解读》

本博客文章除特别声明,全部都是原创!
转载本文请加上:转载自过往记忆(https://www.iteblog.com/)
本文链接: 【Apache Kafka 2.0.0 正式发布,多项重要功能更新】(https://www.iteblog.com/archives/2402.html)
喜欢 (2)
分享 (0)
发表我的评论
取消评论

表情
本博客评论系统带有自动识别垃圾评论功能,请写一些有意义的评论,谢谢!