欢迎关注大数据技术架构与案例微信公众号:过往记忆大数据
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
过往记忆大数据

重大新闻:Hadoop 2.6.0发布

Hadoop 2.5.2《Apache Hadoop 2.5.2发布:YARN新增部分功能》才刚刚发布不久,Hadoop 2.6.0就发布了,不过从官方网站上看到发布时间居然写的是2014-11-18,比 Hadoop 2.5.2还早,但是从源码下载网站可到,更新时间是2014-11-30,所以Hadoop 2.6.0更新时间可能写错了,应该是2014-11-28。好了,废话不多说了,看下Hadoop 2.6.0的重要特性吧。


如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop

Apache Hadoop 2.6.0包含了许多重要的特性。

Hadoop Common

1、Key management server (beta版本)。Hadoop KMS是基于KeyProvider API的密钥管理服务器,它是一个Java web应用程序,内部提供了客户端和服务器组建,它们之间通过REST API在HTTP协议上通信。客户端是KeyProvider的一种实现,并通过KMS HTTP REST API和KMS交互。KMS和它的客户端内置了安全机制,支持HTTP SPNEGO Kerberos授权和HTTPS安全传输。Hadoop KMS对Hadoop和Hadoop用户来说是一个安全网关。它为现有的Hadoop安全组建(authenticatication, confidentiality)提供了相应的接口。(HADOOP-10433)
2、Credential provider(beta版本)。它是credential providers内部提供管理credentials, passwords and secrets的命令(HADOOP-10922、HADOOP-11031、HADOOP-10607)

Hadoop HDFS

  • 异构的存储层进入到第二阶段,主要更新有:(1)、异构存储的应用程序API;(2)、SSD存储层;(3)、内存作为存储层(beta版本)。
  • 支持Archival存储,具体参见 《HDFS 归档存储编程指南》
  • Transparent data at rest encryption
  • 操作安全的DataNode,无需root访问权限(Operating secure DataNode without requiring root access)。
  • 热插拔驱动器,支持动态的添加、删除DataNode上面的磁盘,而不需要重启DataNode(beta版本)。
  • AES(Advanced Encryption Standard)支持快速的wire encryption。

Hadoop YARN

  • 在YARN中支持长时间运行的服务,支持应用程序的服务注册。
  • 支持滚动升级:(1)、ResourceManager上的工作可以保存起来,并可以继续运行;(2)、NodeManager上的Container可以保存起来,,并可以继续运行。
  • Support node labels during scheduling;
  • 在CapacityScheduler中支持基于时间的资源保留(beta版本);
  • 为application artifacts提供了一个全局的,共享内存(beta版本);
  • 支持在Docker容器中本地地运行applications(alpha版本)。

重要的一些bug修复列表:

Hadoop Common
  HADOOP-10433 - Key management server (beta)
  HADOOP-10607 - Credential provider (beta)
Hadoop HDFS
  Heterogeneous Storage Tiers - Phase 2
  HDFS-5682 - Application APIs for heterogeneous storage
  HDFS-7228 - SSD storage tier
  HDFS-5851 - Memory as a storage tier (beta)
  HDFS-6584 - Support for Archival Storage
  HDFS-6134 - Transparent data at rest encryption (beta)
  HDFS-2856 - Operating secure DataNode without requiring root access
  HDFS-6740 - Hot swap drive: support add/remove data node volumes without restarting data node (beta)
  HDFS-6606 - AES support for faster wire encryption
Hadoop YARN
  YARN-896 - Support for long running services in YARN
  YARN-913 - Service Registry for applications
  YARN-666 - Support for rolling upgrades
  YARN-556 - Work-preserving restarts of ResourceManager
  YARN-1336 - Container-preserving restart of NodeManager
  YARN-796 - Support node labels during scheduling
  YARN-1051 - Support for time-based resource reservations in Capacity Scheduler (beta)
  YARN-1492 - Global, shared cache for application artifacts (beta)
  YARN-1964 - Support running of applications natively in Docker containers (alpha)
全部的Bug修复看这里

再来看下Hadoop 2.7.0的展望:
HADOOP
  Move to JDK7+ HADOOP-10530
  Support JDK8 in Hadoop HADOOP-11090
HDFS
  Support for Erasure Codes in HDFS HDFS-7285
YARN
  Support disk as a resource in YARN for scheduling and isolation YARN-2139
  Dynamic Resource Configuration YARN-291
  Support NodeGroup layer topology on YARN YARN-18
MAPREDUCE
  这个还没有。
本博客文章除特别声明,全部都是原创!
原创文章版权归过往记忆大数据(过往记忆)所有,未经许可不得转载。
本文链接: 【重大新闻:Hadoop 2.6.0发布】(https://www.iteblog.com/archives/1214.html)
喜欢 (5)
分享 (0)
发表我的评论
取消评论

表情
本博客评论系统带有自动识别垃圾评论功能,请写一些有意义的评论,谢谢!