如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号：iteblog_hadoopApache Iceberg 是一种用于跟踪超大规模表的新格式，是专门为对象存储（如S3）而设计的。 本文将介绍为什么 Netflix 需要构建 Iceberg，Apache Iceberg 的高层次设计，并会介绍那些能够更好地解决查询性能问题的细节。如果想及时了解Spark、Hadoop或者HBase w397090770 4年前 (2020-02-23) 2937℃ 0评论6喜欢
我们在 Docker 入门教程：镜像分层 和 Docker 入门教程：Docker 基础技术 Union File System 已经介绍了一些前提基础知识，本文我们来介绍 Union File System 在 Docker 的应用。为了使 Docker 能够在 container 的 writable layer 写一些比较小的数据（如果需要写大量的数据可以通过挂载盘去写），Docker 为我们实现了存储驱动（storage drivers）。Docker 使 w397090770 4年前 (2020-02-16) 659℃ 0评论5喜欢
Apache Flink 1.10.0 于 2020年02月11日正式发布。Flink 1.10 是一个历时非常长、代码变动非常大的版本，也是 Flink 社区迄今为止规模最大的一次版本升级，Flink 1.10 容纳了超过 200 位贡献者对超过 1200 个 issue 的开发实现，包含对 Flink 作业的整体性能及稳定性的显著优化、对原生 Kubernetes 的初步集成以及对 Python 支持（PyFlink）的重大优化。 w397090770 4年前 (2020-02-12) 3433℃ 0评论3喜欢
我们在前面 《Docker 入门教程：镜像分层》 文章中介绍了 Docker 为什么构建速度非常快，其原因就是采用了镜像分层，镜像分层底层采用的技术就是本文要介绍的 Union File System。Linux 支持多种 Union File System，比如 aufs、OverlayFS、ZFS 等。如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众帐号：iteblog_hadoopaufs & OverlayF w397090770 4年前 (2020-02-09) 1137℃ 0评论4喜欢
我们在前面的 《Docker 入门教程：快速开始 》文章了解到镜像和容器的概念。本文将了解一下 Docker 的镜像分层（Layer）的概念，在 Docker 的官方文档对 Layer 的定义如下（参见这里）：In an image, a layer is modification to the image, represented by an instruction in the Dockerfile. Layers are applied in sequence to the base image to create the final image. When an image is up w397090770 4年前 (2020-02-05) 1778℃ 0评论6喜欢
本文来自 2019年9月23日至26日在纽约举办的 Strata Data Conference，分享者是来自 Cloudera 的 Wangda Tan 和 Wei-Chiu Chuang，会议页面 https://conferences.oreilly.com/strata/strata-ny-2019/public/schedule/detail/77506。请关注 过往记忆大数据 微信公众号，并在后台回复 hadoop_3 关键字获取本文的 PPT 下载地址。如果想及时了解Spark、Hadoop或者HBase相关的文章， w397090770 4年前 (2020-02-04) 2177℃ 2评论5喜欢
Docker 为我们提供了大量的命令，直接在终端运行 docker --help 即可查看 Docker 支持的命令。如果需要查看具体命令的使用方式，可以使用 docker COMMAND --help。Docker 提供了 55 条命令，由于篇幅的原因，这里将介绍 Docker 常用的命令，其他的可以参见 Docker 官方文档。如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号 w397090770 4年前 (2020-02-04) 313℃ 0评论3喜欢
引入在Databricks的过去几年中，我们看到了一种新的数据管理范式，该范式出现在许多客户和案例中：LakeHouse。在这篇文章中，我们将描述这种新范式及其相对于先前方案的优势。数据仓库技术自1980诞生以来一直在发展，其在决策支持和商业智能应用方面拥有悠久的历史，而MPP体系结构使得系统能够处理更大数据量。但是，虽 w397090770 4年前 (2020-02-03) 2977℃ 0评论6喜欢
我们在 前面的文章文章中介绍了 Docker 默认是从 https://hub.docker.com/仓库下载镜像的，由于这个网址是国外的，所以在下载镜像的时候很可能会非常慢，所以大家应该想到 Docker 是否像 Maven 仓库一样也有一些国内的 Docker 镜像库呢？答案是肯定的。截止到本文撰写的时候，下面几个国内 Docker 镜像地址是可用的：网易 Docker 镜像库：h w397090770 4年前 (2020-02-03) 10572℃ 0评论4喜欢
我们在 《一文了解什么是 Docker》 文章中已经介绍了 Docker 是什么，以及为什么需要 Docker 技术。本文将快速介绍一下如何使用 Docker。安装 DockerDocker 是一个开源的商业产品，支持几乎所有的 Linux 发行版，也支持 Mac 以及 Windows 平台。在各平台上又分为两个版本：免费的社区版（Community Edition，缩写为 CE）和收费的企业版（Enterpri w397090770 4年前 (2020-02-02) 805℃ 0评论3喜欢
