欢迎关注大数据技术架构与案例微信公众号:过往记忆大数据
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
过往记忆大数据

2020年07月的内容

Spark

如何使用 Spark 3.0 中新加的 Structured Streaming UI 来进行异常分析

如何使用 Spark 3.0 中新加的 Structured Streaming UI 来进行异常分析
本文为阿里巴巴技术专家余根茂在社区发的一篇文章。Structured Streaming 最初是在 Apache Spark 2.0 中引入的,它已被证明是构建分布式流处理应用程序的最佳平台。SQL/Dataset/DataFrame API 和 Spark 的内置函数的统一使得开发人员可以轻松实现复杂的需求,比如支持流聚合、流-流 Join 和窗口。自从 Structured Streaming 发布以来,社区的开发人

w397090770   3年前 (2020-07-30) 702℃ 0评论1喜欢

Idea

IntelliJ IDEA 2020.2 稳定版发布

IntelliJ IDEA 2020.2 稳定版发布
IntelliJ IDEA 2020.2 稳定版已发布,此版本带来了不少新功能,包括支持在 IDE 中审查和合并 GitHub PR、新增加的 Inspections 小组件(Inspections Widget)支持在文件的警告和错误之间快速导航、使用 Problems 工具窗口查看当前文件中的完整问题列表,并在更改会破坏其他文件时收到通知。此外还有针对部分框架和技术的新功能,包括支持使

w397090770   3年前 (2020-07-29) 258℃ 0评论2喜欢

Spark

Apache Spark 3.0 R 的向量化 IO

Apache Spark 3.0 R 的向量化 IO
R 是数据科学中最流行的计算机语言之一,专门用于统计分析和一些扩展,如用于数据处理和机器学习任务的 RStudio addins 和其他 R 包。此外,它使数据科学家能够轻松地可视化他们的数据集。通过在 Apache Spark 中使用 SparkR,可以很容易地扩展 R 代码。要交互式地运行作业,可以通过运行 R shell 轻松地在分布式集群中运行 R 的作业

w397090770   3年前 (2020-07-09) 725℃ 0评论