登录
欢迎关注大数据技术架构与案例微信公众号：过往记忆大数据。
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号：
过往记忆大数据

w397090770的文章

Presto

Portable UDF：Facebook 工程师为了解决不同计算引擎 UDF 统一的项目

Portable UDF：Facebook 工程师为了解决不同计算引擎 UDF 统一的项目
本文来自 Data + AI Summit 2021 会议中 Facebook 的Rongrong Zhong（Facebook Presto 团队的 TL） 和 Tejas Patil（Facebook Spark 团队的 TL） 工程师带来的名为 《Portable UDFs : Write Once, Run Anywhere》的分享。 虽然大多数查询引擎都提供了丰富的内置函数，但它并不能满足用户的所有需求。在这种情况下，用户定义函数（UDF）允许用户表达他们的业

  1个月前 (12-17) 95℃ 0评论1喜欢

Presto

Presto 在字节跳动的实践

Presto 在字节跳动的实践
本文资料来自2021年12月09日举办的 PrestoCon 2021，议题为《Presto at Bytedance》，分享者常鹏飞，字节跳动软件工程师。Presto 在字节跳动中得到了广泛的应用，如数据仓库、BI工具、广告等。与此同时，字节跳动的 presto 团队也提供了许多重要的特性和优化，如 Hive UDF Wrapper、多个协调器、运行时过滤器等，扩展了 presto

  1个月前 (12-14) 146℃ 0评论1喜欢

Presto

Presto 在字节跳动的应用

Presto 在字节跳动的应用
本资料来自2021年12月09日举办的 PrestoCon 2021，标题为《Presto at Bytedance》Presto 在字节跳动中得到了广泛的应用，如数据仓库、BI工具、广告等。与此同时，字节跳动的 presto 团队也提供了许多重要的特性和优化，如 Hive UDF Wrapper、多个协调器、运行时过滤器等，扩展了 presto 的用法，增强了 presto 的稳定性。下面是字节跳动目前 Presto

  2个月前 (12-08) 171℃ 0评论0喜欢

Presto

Presto 在腾讯的使用

Presto 在腾讯的使用
本资料来自2021年12月09日举办的 PrestoCon 2021，标题为《Presto at Tencent at Scale: Usability Extension, Stability Improvement and Performance Optimization》Presto 在腾讯内部为不同业务部门提供临时查询（ad-hoc queries）和交互式查询（ interactive queries）场景。在这次演讲中，我们将分享腾讯在生产中的实践。并且将讨论腾讯在 Presto 上面的工作，以进一步

  2个月前 (12-08) 133℃ 0评论0喜欢

Alluxio

RaptorX: 将 Presto 性能提升十倍

RaptorX: 将 Presto 性能提升十倍
存储计算分离是整个行业的发展趋势，这种架构的存储和计算可以各自独立发展，它帮助云提供商降低成本。Presto 原生就支持这样的架构，数据可以从 Presto 服务器之外的远程存储节点传输过来。然而，存储计算分解也为查询延迟带来了新的挑战，因为当网络饱和时，通过网络扫描大量数据将受到 IO 限制。 此外，元数据的读取

  2个月前 (12-05) 245℃ 0评论1喜欢

Spark

What's new in Spark 3.2.0

What's new in Spark 3.2.0
本文来自 Kyligence 主办的 Data & AI Meetup（第二期），会议时间为 11月16日。本期会议特别邀请了 Spark 社区大佬范文臣带来 Spark 3.2.0 新特性的首发解读。范文臣，Databricks 开源组技术主管，Apache Spark PMC member，Spark 社区最活跃的贡献者之一，目前主要负责 Spark Core/SQL 的设计开发和开源社区管理。Spark 作为目前大数据领域使用最普及的

  2个月前 (11-30) 284℃ 0评论0喜欢

Docker

创建 Presto Docker 镜像教程

创建 Presto Docker 镜像教程
PrestoDB 官方并没有提供 Docker 镜像，但是其为我们提供了制作 Docker 镜像的方法，步骤很简单。本文主要是用于学习交流，并为大家展示如何制作并运行简单的的 Docker 镜像，Dockerfile 的编写大量参考了 PrestoDB 的文档。因为这里仅仅是测试，所以仅留了 tpch connecter，大家可以根据自己需求去修改。如果想及时了解Spark、Hadoop或者HBase

  2个月前 (11-19) 111℃ 0评论0喜欢

Alluxio

在 Presto Iceberg 数据源上使用 Alluxio 缓存

在 Presto Iceberg 数据源上使用 Alluxio 缓存
本文介绍了如何使用 Presto 通过 Alluxio 查询 Iceberg 表。由于这项功能目前处于试验阶段，此处提供的信息可能会发生变化，请及时参考官方文档了解最新功能。关于如何使用 Presto 读取 Iceberg 上的数据请参考这里。我们知道，在 Hive 数据源上，Presto 支持两种形式的 Alluxio 缓存：通过 Alluxio local cache 以及 Alluxio Cluster，截止到本文章

  2个月前 (11-18) 294℃ 0评论2喜欢

Presto

Presto 两种 JOIN 算法实现

Presto 两种 JOIN 算法实现
我们在 《Presto 中支持的七种 Join 类型》 这篇文章中介绍了 Presto 可用的 JOIN 操作的基础知识，以及如何在 SQL 查询中使用它们。有了这些知识，我们现在可以了解 Presto 的内部结构以及它如何在内部执行 JOIN 操作。本文将介绍 Presto 如何执行 JOIN 操作以及用于 JOIN 的算法。JOIN 的实现几乎所有的数据库引擎一次只 JOIN 两个表。即

  2个月前 (11-17) 159℃ 0评论0喜欢

Alluxio

Apache Hudi : 未来发展

Apache Hudi : 未来发展
本文是 2021-10-13 日周三下午13:30 举办的议题为《Apache Hudi : The Path Forward》的分享，作者来自Apache Hudi 项目的原始创建者和副总裁 Vinoth Chandar 和 Zendesk 的 Raymond Xu。Raymond Xu leads the Data Lake team at Zendesk. He is also a PMC member and committer for Apache Hudi.Vinoth Chandar is the original creator & VP of the Apache Hudi project, which has changed the face of data lake archi

  2个月前 (11-16) 215℃ 0评论0喜欢