欢迎关注大数据技术架构与案例微信公众号:过往记忆大数据
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
过往记忆大数据

Apache Spark 1.3.0正式发布

  美国时间2015年3月13日Apache Spark 1.3.0正式发布,Spark 1.3.0是1.X版本线上的第四个版本,这个版本引入了DataFrame API,并且Spark SQL已经从alpha工程毕业了。Spark core引擎可用性也有所提升,另外MLlib和Spark Stream也有所扩展。Spark 1.3有来自60个机构的174魏贡献者带来的1000多个patch。

Spark Core

  Spark 1.3中的Core模块的可用性得到了提升。Core API现在支持多级汇聚树(multi level aggregation trees ),有助于加快昂贵的Reduce操作。对某些疑难杂症的操作(certain gotcha operations)提升了错误报告。Spark的Jetty依赖现在 dependency 现在被隐藏,以帮助避免与用户程序冲突。Spark现在支持SSL加密。最后,实时的G