在 《Apache Hadoop 的 HDFS federation 前世今生(上)》 已经介绍了 Hadoop 2.9.0 版本之前 HDFS federation 存在的问题，那么为了解决这个问题，社区采取了什么措施呢？HDFS Router-based FederationViewFs 方案虽然可以很好的解决文件命名空间问题，但是它的实现有以下几个问题：ViewFS 是基于客户端实现的，需要用户在客户端进行相关的配置，那 w397090770 5年前 (2019-07-26) 1888℃ 0评论2喜欢
背景熟悉大数据的人应该都知道，HDFS 是一个分布式文件系统，它是基于谷歌的 GFS 思路实现的开源系统，它的设计目的就是提供一个高度容错性和高吞吐量的海量数据存储解决方案。在经典的 HDFS 架构中有2个 NameNode 和多个 DataNode 的，如下：如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号：iteblog_hadoop从 w397090770 5年前 (2019-07-25) 2143℃ 0评论3喜欢
Spark SQL 是 Spark 最新且技术最复杂的组件之一。它同时支持 SQL 查询和新的 DataFrame API。Spark SQL 的核心是 Catalyst 优化器，它以一种全新的方式利用高级语言的特性（例如：Scala 的模式匹配和 Quasiquotes ①）构建一个可扩展的查询优化器。最近我们在 SIGMOD 2015 发表了一篇论文（合作者：Davies Liu，Joseph K. Bradley，Xiangrui Meng，Tomer Kaftan w397090770 5年前 (2019-07-21) 3192℃ 0评论5喜欢
2019 年 7 月 17 日，Cloudera 官方博客发文开源了一个内部研发使用很久的大数据存储和通用计算平台交叉的新项目 YuniKorn。Yunikorn 是一个新的独立通用资源调度程序，负责为大数据工作负载分配/管理资源，包括批处理作业和长时间运行的服务。介绍YuniKorn 是一种轻量级的通用资源调度程序，适用于容器编排系统（container orchestrator s w397090770 5年前 (2019-07-17) 3515℃ 0评论0喜欢
