欢迎关注大数据技术架构与案例微信公众号:过往记忆大数据
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
过往记忆大数据

Apache Beam发布第一个稳定版,适用于企业的部署

昨天晚上,Apache Beam发布了第一个稳定版2.0.0,Apache Beam 社区声明:未来版本的发布将保持 API 的稳定性,并让 Beam 适用于企业的部署。

Apache Beam 的第一个稳定版本是此社区第三个重要里程碑。Apache Beam 是在2016年2月加入 Apache 孵化器(Apache Incubator),并在同年的12月成功毕业成为 Apache 基金会的顶级项目(《Apache Beam成为Apache顶级项目》)。经过这15个月的努力,并以一个有点混乱的代码库为起点,期间合并了多个组织的代码,如今真正发展成为环境无关的、通用的数据处理引擎。Beam 经过三个孵化器版本和三个后孵化器版本的演化和改进,今天终于迎来了它的第一个稳定版 2.0.0。


如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop

Apache Beam 2.0.0 改进了用户体验,专注于多种执行环境的无缝可移植性,包括执行引擎、操作系统、内部集群、云服务商,以及数据存储系统。除此之外,下面的几个特点也值得关注:

  • 在未来,只要是2.x.x版本的Apache Beam,其API是互相兼容的;
  • Stateful data processing paradigms that unlock efficient, data-dependent computations;(不知道如何翻译)
  • 支持用户扩展的文件系统,内置支持Hadoop分布式文件系统;本人有幸为HDFS模块提供了两个小PR:BEAM-1491BEAM-1856
  • 提供了一个度量指标系统,用于深入了解pipeline的执行;

参与此版本开发的开发者

  • Ahmet Altay
  • Eric Anderson
  • Raghu Angadi
  • Sourabh Bajaj
  • Péter Gergő Barna
  • Chen Bin
  • Davor Bonaci
  • Robert Bradshaw
  • Ben Chambers
  • Etienne Chauchot
  • Chang Chen
  • Charles Chen
  • Craig Citro
  • Lukasz Cwik
  • Márton Elek
  • Pablo Estrada
  • Josh Forman-Gornall
  • Maria García Herrero
  • Jins George
  • Damien Gouyette
  • Thomas Groh
  • Dan Halperin
  • Pei He
  • Hadar Hod
  • Chamikara Jayalath
  • Rekha Joshi
  • Uwe Jugel
  • Sung Junyoung
  • Holden Karau
  • Vikas Kedigehalli
  • Eugene Kirpichov
  • Tibor Kiss
  • Kenneth Knowles
  • Vassil Kolarov
  • Chinmay Kolhatkar
  • Aljoscha Krettek
  • Dipti Kulkarni
  • Radhika Kulkarni
  • Jason Kuster
  • Reuven Lax
  • Stas Levin
  • Julien Lhermitte
  • Jingsong Li
  • Neville Li
  • Mark Liu
  • Michael Luckey
  • Andrew Martin
  • Ismaël Mejía
  • Devon Meunier
  • Neda Mirian
  • Anil Muppalla
  • Gergely Novak
  • Jean-Baptiste Onofré
  • Melissa Pashniak
  • peay
  • David Rieber
  • Rahul Sabbineni
  • Kobi Salant
  • Amit Sela
  • Mark Shalda
  • Stephen Sisk
  • Yuya Tajima
  • Wesley Tanaka
  • JiJun Tang
  • Valentyn Tymofieiev
  • David Volquartz
  • Huafeng Wang
  • Thomas Weise
  • Rafal Wojdyla
  • Yangping Wu
  • wyp
  • James Xu
  • Mingmin Xu
  • Ted Yu
  • Borisa Zivkovic
  • Aviem Zur

更多的关于Apache Beam 2.0.0 请参见其官方文档https://beam.apache.org/documentation/

本博客文章除特别声明,全部都是原创!
原创文章版权归过往记忆大数据(过往记忆)所有,未经许可不得转载。
本文链接: 【Apache Beam发布第一个稳定版,适用于企业的部署】(https://www.iteblog.com/archives/2154.html)
喜欢 (3)
分享 (0)
发表我的评论
取消评论

表情
本博客评论系统带有自动识别垃圾评论功能,请写一些有意义的评论,谢谢!