登录
欢迎关注Hadoop、Spark、Flink、Hive、Hbase、Flume等大数据资料分享微信公共账号：iteblog_hadoop。
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号：
iteblog_hadoop
大数据技术博客公众号bigdata_ai
开发爱好者社区：
bigdata_ai

w397090770的文章

Spark

如何使用 Spark 3.0 中新加的 Structured Streaming UI 来进行异常分析

如何使用 Spark 3.0 中新加的 Structured Streaming UI 来进行异常分析
本文为阿里巴巴技术专家余根茂在社区发的一篇文章。Structured Streaming 最初是在 Apache Spark 2.0 中引入的，它已被证明是构建分布式流处理应用程序的最佳平台。SQL/Dataset/DataFrame API 和 Spark 的内置函数的统一使得开发人员可以轻松实现复杂的需求，比如支持流聚合、流-流 Join 和窗口。自从 Structured Streaming 发布以来，社区的开发人

  4天前 40℃ 0评论1喜欢

Spark

Apache Spark 3.0 R 的向量化 IO

Apache Spark 3.0 R 的向量化 IO
R 是数据科学中最流行的计算机语言之一，专门用于统计分析和一些扩展，如用于数据处理和机器学习任务的 RStudio addins 和其他 R 包。此外，它使数据科学家能够轻松地可视化他们的数据集。通过在 Apache Spark 中使用 SparkR，可以很容易地扩展 R 代码。要交互式地运行作业，可以通过运行 R shell 轻松地在分布式集群中运行 R 的作业

  4周前 (07-09) 222℃ 0评论2喜欢

Spark

Spark 3.0 中七个必须知道的 SQL 性能优化

Spark 3.0 中七个必须知道的 SQL 性能优化
​本文来自 IBM 东京研究院的高级技术人员 Kazuaki Ishizaki 博士在 Spark Summit North America 2020 的 《SQL Performance Improvements at a Glance in Apache Spark 3.0》议题的分享，本文视频参见今天的推文第三条​。PPT 请关注过往记忆大数据并后台回复 sparksql3 ​获取。Spark 3.0 正式版在上个月已经发布了，其中更新了很多功能，参见过往记忆大数据的 Ap

  4周前 (07-08) 540℃ 0评论2喜欢

Spark

Spark SQL 中 Broadcast Join 一定比 Shuffle Join 快？那你就错了。

Spark SQL 中 Broadcast Join 一定比 Shuffle Join 快？那你就错了。
本资料来自 Workday 的软件开发工程师 Jianneng Li 在 Spark Summit North America 2020 的 《On Improving Broadcast Joins in Spark SQL》议题的分享。背景相信使用 Apache Spark 进行数据分析的同学对 Spark 中的 Broadcast Join 比较熟悉，其在 Join 之前会把一端比较小的表广播到参与 Join 的 worker 端，具体如下：如果想及时了解Spark、Hadoop或者HBase相关的文

  4周前 (07-05) 325℃ 0评论2喜欢

Spark

Spark Summit North America 202006 高清 PPT 下载

Spark Summit North America 202006 高清 PPT 下载
为期五天的 Spark Summit North America 2020在美国时间 2020-06-22 ~ 06-26 举行。由于今年新冠肺炎的影响，本次会议第一次以线上的形式进行。这次会议虽然是五天，但是前两天是培训，后面三天才是正式会议。本次会议一共有超过210个议题，一如既往，主题也主要是 Spark + AI，在 AI 方面会议还深入讨论一些流行的软件框架，如 Delta Lake、MLflo

  1个月前 (07-04) 694℃ 0评论0喜欢

Spark

Spark SQL小文件问题在OPPO的解决方案

Spark SQL小文件问题在OPPO的解决方案
Spark SQL小文件是指文件大小显著小于hdfs block块大小的的文件。过于繁多的小文件会给HDFS带来很严重的性能瓶颈，对任务的稳定和集群的维护会带来极大的挑战。一般来说，通过Hive调度的MR任务都可以简单设置如下几个小文件合并的参数来解决任务产生的小文件问题：[code lang="sql"]set hive.merge.mapfiles=true;set hive.merge.mapredfiles=true

  1个月前 (07-03) 396℃ 0评论2喜欢

Spark

深入理解数砖的 Delta Engine

深入理解数砖的 Delta Engine
在 Spark AI Summit 的第一天会议中，数砖重磅发布了 Delta Engine。这个引擎 100% 兼容 Apache Spark 的向量化查询引擎，并且利用了现代化的 CPU 架构，优化了 Spark 3.0 的查询优化器和缓存功能。这些特性显著提高了 Delta Lake 的查询性能。当然，这个引擎目前只能在 Databricks Runtime 7.0 中使用。数砖研发 Delta Engine 的目的过去十年，存储的速

  1个月前 (06-28) 250℃ 0评论1喜欢

Spark

Spark 背后的商业公司收购的 Redash 是个啥？

Spark 背后的商业公司收购的 Redash 是个啥？
在2020年6月24日的 Spark AI summit Keynote 上，数砖的首席执行官 Ali Ghodsi 宣布其收购了 Redash 开源产品的背后公司 Redash！如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号：iteblog_hadoop通过这次收购，Redash 加入了 Apache Spark、Delta Lake 和 MLflow，创建了一个更大、更繁荣的开源系统，为数据团队提供了同类中最好的

  1个月前 (06-26) 194℃ 0评论3喜欢

Spark

历时近两年，Apache Spark 3.0.0 正式版终于发布了

历时近两年，Apache Spark 3.0.0 正式版终于发布了
原计划在2019年年底发布的 Apache Spark 3.0.0 今天终于赶在下周二举办的 Spark Summit AI 会议之前正式发布了! Apache Spark 3.0.0 自2018年10月02日开发到目前已经经历了近21个月！这个版本的发布经历了两个预览版以及三次投票：2019年11月06日第一次预览版，参见 https://spark.apache.org/news/spark-3.0.0-preview.html2019年12月23日第二次预览版，参见 https

  2个月前 (06-18) 743℃ 0评论3喜欢

Hive

从行存储到 RCFile，Facebook 为什么要设计出 RCFile？

从行存储到 RCFile，Facebook 为什么要设计出 RCFile？
2010年，Facebook 的工程师在 ICDC（IEEE International Conference on Data Engineering） 发表了一篇 《RCFile: A Fast and Space-efficient Data Placement Structure in MapReduce-based Warehouse Systems》 的论文，介绍了其为基于 MapReduce 的数据仓库设计的高效存储结构，这就是我们熟知的 RCFile（Record Columnar File）。下面介绍 RCFile 的一些诞生背景和设计。背景早在2010

  2个月前 (06-16) 227℃ 0评论5喜欢