我们在前面 《Docker 入门教程：镜像分层》 文章中介绍了 Docker 为什么构建速度非常快，其原因就是采用了镜像分层，镜像分层底层采用的技术就是本文要介绍的 Union File System。Linux 支持多种 Union File System，比如 aufs、OverlayFS、ZFS 等。如果想及时了解Spark、...... w397090770 6年前 (2020-02-09) 1323℃ 0评论4喜欢
我们在前面的 《Docker 入门教程：快速开始 》文章了解到镜像和容器的概念。本文将了解一下 Docker 的镜像分层（Layer）的概念，在 Docker 的官方文档对 Layer 的定义如下（参见这里）：In an image, a layer is modification to the image, represented by an instruction...... w397090770 6年前 (2020-02-05) 2098℃ 0评论6喜欢
Docker 为我们提供了大量的命令，直接在终端运行 docker --help 即可查看 Docker 支持的命令。如果需要查看具体命令的使用方式，可以使用 docker COMMAND --help。Docker 提供了 55 条命令，由于篇幅的原因，这里将介绍 Docker 常用的命令，其他的可以参见 Docker 官方文档...... w397090770 6年前 (2020-02-04) 365℃ 0评论3喜欢
引入在Databricks的过去几年中，我们看到了一种新的数据管理范式，该范式出现在许多客户和案例中：LakeHouse。在这篇文章中，我们将描述这种新范式及其相对于先前方案的优势。数据仓库技术自1980诞生以来一直在发展，其在决策支持和商业智能应用方面拥有悠久的历史，而MPP...... w397090770 6年前 (2020-02-03) 3049℃ 0评论6喜欢
我们在 前面的文章文章中介绍了 Docker 默认是从 https://hub.docker.com/仓库下载镜像的，由于这个网址是国外的，所以在下载镜像的时候很可能会非常慢，所以大家应该想到 Docker 是否像 Maven 仓库一样也有一些国内的 Docker 镜像库呢？答案是肯定的。截止到本文撰写的时候...... w397090770 6年前 (2020-02-03) 11961℃ 0评论4喜欢
我们在 《一文了解什么是 Docker》 文章中已经介绍了 Docker 是什么，以及为什么需要 Docker 技术。本文将快速介绍一下如何使用 Docker。安装 DockerDocker 是一个开源的商业产品，支持几乎所有的 Linux 发行版，也支持 Mac 以及 Windows 平台。在各平台上又分为两个版本...... w397090770 6年前 (2020-02-02) 860℃ 0评论3喜欢
Java 8 给我们带来了一个新功能，也就是本文要介绍的 Stream API，它可以让我们以一种声明的方式处理数据。Stream 使用一种类似用 SQL 的语法来提供一种对 Java 集合运算和表达的高阶抽象。极大提高 Java 程序员的生产力，让程序员写出高效率、干净、简洁的代码。本文是 Jav...... w397090770 6年前 (2020-02-01) 554℃ 0评论3喜欢
2010年，几个大胡子年轻人在旧金山成立了一家名为 dotCloud 的 PaaS 平台的公司。dotCloud 主要是基于 PaaS 平台为开发者或开发商提供技术服务。PaaS 的全称是 Platform as a Service，也就是平台即服务。dotCloud 把需要花费大量时间的手工工作和重复劳动抽象成组件和服务...... w397090770 6年前 (2020-01-15) 913℃ 0评论8喜欢
HDFS 简介因为 HDFS 这样一个系统已经存在了非常长的时间，应用的场景已经非常成熟了，所以这部分我们会比较简单地介绍。HDFS 全名 Hadoop Distributed File System，是业界使用最广泛的开源分布式文件系统。原理和架构与 Google 的 GFS 基本一致。它的特点主要有以下几项...... w397090770 6年前 (2020-01-10) 2449℃ 0评论4喜欢
背景熟悉 Spark 的同学都知道，Spark 作业启动的时候我们需要指定 Exectuor 的个数以及内存、CPU 等信息。但是在 Spark 作业运行的时候，里面可能包含很多个 Stages，这些不同的 Stage 需要的资源可能不一样，由于目前 Spark 的设计，我们无法对每个 Stage 进行细粒度的资...... w397090770 6年前 (2020-01-10) 1592℃ 0评论3喜欢
