登录
欢迎关注Hadoop、Spark、Flink、Hive、Hbase、Flume等大数据资料分享微信公共账号：iteblog_hadoop。
  1. 文章总数：1076
  2. 浏览总数：14,673,430
  3. 评论：4200
  4. 分类目录：114 个
  5. 注册用户数：7082
  6. 最后更新：2019年11月21日
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号：
iteblog_hadoop
大数据技术博客公众号bigdata_ai
开发爱好者社区：
bigdata_ai

w397090770的文章

hudi

Apache Hudi: Uber 开源的大数据增量处理框架

Apache Hudi: Uber 开源的大数据增量处理框架
随着 Apache Parquet 和 Apache ORC 等存储格式以及 Presto 和 Apache Impala 等查询引擎的发展，Hadoop 生态系统有可能成为一个面向几分钟延迟工作负载的通用统一服务层。但是，为了实现这一点，需要在 Hadoop 分布式文件系统(HDFS)中实现高效、低延迟的数据摄取和数据准备。为了解决这个问题，Uber 构建了Hudi（被称为“hoodie”），这是一个

  23小时前 52℃ 0评论0喜欢

Spark

Apache Spark 3.0 预览版正式发布，多项重大功能发布

Apache Spark 3.0 预览版正式发布，多项重大功能发布
今天早上 06:53（2019年11月08日 06:53) 数砖的 Xingbo Jiang 大佬给社区发了一封邮件，宣布 Apache Spark 3.0 预览版正式发布，这个版本主要是为了对即将发布的 Apache Spark 3.0 版本进行大规模社区测试。无论是从 API 还是从功能上来说，这个预览版都不是一个稳定的版本，它的主要目的是为了让社区提前尝试 Apache Spark 3.0 的新特性。如果大家想

  2周前 (11-08) 551℃ 0评论1喜欢

Spark

Apache Spark 3.0 动态分区裁剪（Dynamic Partition Pruning）使用

Apache Spark 3.0 动态分区裁剪（Dynamic Partition Pruning）使用
我在 这篇 文章中介绍了 Apache Spark 3.0 动态分区裁剪（Dynamic Partition Pruning），里面涉及到动态分区的优化思路等，但是并没有涉及到如何使用，本文将介绍在什么情况下会启用动态分区裁剪。并不是什么查询都会启用动态裁剪优化的，必须满足以下几个条件：spark.sql.optimizer.dynamicPartitionPruning.enabled 参数必须设置为 true，不过这

  2周前 (11-08) 218℃ 0评论3喜欢

Spark

Apache Spark 3.0 动态分区裁剪（Dynamic Partition Pruning）介绍

Apache Spark 3.0 动态分区裁剪（Dynamic Partition Pruning）介绍
静态分区裁剪（Static Partition Pruning）用过 Spark 的同学都知道，Spark SQL 在查询的时候支持分区裁剪，比如我们如果有以下的查询：[code lang="sql"]SELECT * FROM Sales_iteblog WHERE day_of_week = 'Mon'[/code]Spark 会自动进行以下的优化：如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop从上图可以看到，S

  3周前 (11-04) 368℃ 0评论4喜欢

Spark

Spark+AI Summit Europe 2019 高清视频下载[共135个]

Spark+AI Summit Europe 2019 高清视频下载[共135个]
为期三天的 SPARK + AI SUMMIT Europe 2019 于 2019年10月15日-17日荷兰首都阿姆斯特丹举行。数据和 AI 是需要结合的，而 Spark 能够处理海量数据的分析，将 Spark 和 AI 进行结合，无疑会带来更好的产品。Spark+AI Summit Europe 2019 是欧洲最大的数据和机器学习会议，大约有1700多名数据科学家、工程师和分析师参加此次会议。本次会议的提议包括了A

  3周前 (11-01) 286℃ 0评论1喜欢

Spark

Spark+AI Summit Europe 2019 PPT 下载[共122个]

Spark+AI Summit Europe 2019 PPT 下载[共122个]
为期三天的 SPARK + AI SUMMIT Europe 2019 于 2019年10月15日-17日荷兰首都阿姆斯特丹举行。数据和 AI 是需要结合的，而 Spark 能够处理海量数据的分析，将 Spark 和 AI 进行结合，无疑会带来更好的产品。Spark+AI Summit Europe 2019 是欧洲最大的数据和机器学习会议，大约有1700多名数据科学家、工程师和分析师参加此次会议。本次会议的提议包括了A

  3周前 (11-01) 410℃ 1评论0喜欢

Docker

在 Docker 中运行 Apache Phoenix 并启用远程调试

在 Docker 中运行 Apache Phoenix 并启用远程调试
最近由于工作方面的原因需要解析 Apache Phoenix 底层的原始文件，也就是存在 HDFS 上的 HFile。但是由于 Phoenix 有自身的一套数据编码方式，但是由于本人对 Phoenix 这套根本就不熟悉，所以只能自己去看相关代码。但是 Apache Phoenix 是个大工程啊，不可能一个一个文件去找的，这会相当的慢。这时候我想到的是搭建一个 Phoenix 测试环境，

  1个月前 (10-22) 262℃ 0评论1喜欢

Spark

Apache Spark 背后公司 Databricks 完成F轮融资，高达62亿美元估值

Apache Spark 背后公司 Databricks 完成F轮融资，高达62亿美元估值
2019年10月22日上午 Databricks 宣布，已经完成了由安德森-霍洛维茨基金(Andreessen Horowitz)牵头的4亿美元F轮融资，参与融资的有微软(Microsoft)、Alkeon Capital Management、贝莱德(BlackRock)、Coatue Management、Dragoneer Investment Group、Geodesic、Green Bay Ventures、New Enterprise Associates、T. Rowe Price和Tiger Global Management。经过这次融资，Databricks 的估值高达62亿美

  1个月前 (10-22) 213℃ 0评论0喜欢

Delta Lake

Apache Spark Delta Lake 更新使用及实现原理代码解析

Apache Spark Delta Lake 更新使用及实现原理代码解析
Apache Spark Delta Lake 的更新（update）和删除都是在 0.3.0 版本发布的，参见这里，对应的 Patch 参见这里。和前面几篇源码分析文章一样，我们也是先来看看在 Delta Lake 里面如何使用更新这个功能。如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号：iteblog_hadoopDelta Lake 更新使用Delta Lake 的官方文档为我们提供如何

  1个月前 (10-19) 444℃ 0评论0喜欢

Delta Lake

Spark Delta Lake 现在由Linux基金会托管，将成为数据湖的开放标准

Spark Delta Lake 现在由Linux基金会托管，将成为数据湖的开放标准
如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号：iteblog_hadoop一年一度的 Spark + AI Summit Europe 峰会于2019年10月15-17日在欧洲的阿姆斯特丹举行。在10年16日 数砖和 Linux 基金会共同宣布 Delta Lake 和 将成为一个 Linux 基金会项目（参考：The Delta Lake Project Turns to Linux Foundation to Become the Open Standard for Data Lakes）。该项

  1个月前 (10-16) 367℃ 0评论2喜欢