欢迎关注大数据技术架构与案例微信公众号:过往记忆大数据
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
过往记忆大数据

Apache Hadoop 2.4.0已经发布

  这个月的4月7号,Apache Hadoop 2.4.0已经发布了,Hadoop 2.4.0是2014年第二个Hadoop发布版本(在2月20日发布了Apache Hadoop 2.3.0),他在HDFS上做了一些加强,比如对异构存储层次的支持和通过数据节点为存储在HDFS中的数据提供了内存缓存功能。在Hadoop2.4.0主要做了以下工作:
  (1)、HDFS支持访问控制列表(ACLs,Access Control Lists);
  (2)、原生支持HDFS滚动升级;
  (3)、HDFS FSImage用到了 protocol-buffers,从而可以平滑地升级;
  (4)、HDFS完全支持HTTPS;
  (5)、YARN ResourceManager支持自动故障转移,解决了YARN ResourceManager的单点故障;
  (6)、对YARN的Application History Server和 pplication Timeline Server上的新应用加强了支持;
  (7)、通过抢占使得YARN Capacity Scheduler支持强SLAs协议;
翻译的可能不太好,大家可以参见英文原文:
  (1)、upport for Access Control Lists in HDFS
  (2)、Native support for Rolling Upgrades in HDFS
  (3)、Usage of protocol-buffers for HDFS FSImage for smooth operational upgrades
  (4)、Complete HTTPS support in HDFS
  (5)、Support for Automatic Failover of the YARN ResourceManager
  (6)、Enhanced support for new applications on YARN with Application History Server and Application Timeline Server
  (7)、Support for strong SLAs in YARN CapacityScheduler via Preemption.
  目前,安全对于Hadoop来说至关重要,所以在Hadoop 2.4.0版本中对HDFS的所有访问(包括WebHDFS, HsFTP甚至是web-interfaces)都支持了HTTPS。
  在Hadoop 2.4.0解决了ResourceManager的单点故障。这样会在集群中存在两个ResourceManager,其中一个处于Active;另一个处于  standby。当Active的出现故障,这样Hadoop可以自动平滑地切换到另外一个ResourceManager,这个新的ResourceManager将会自动的重启那些提交的applications。在下一阶段,Hadoop将会增加一个热standby(add a hot standby),这个standby可以继续从故障点运行的应用程序,以保存任何已经完成的工作。

展望一下Hadoop2.5.0

  (1)、First-class support for rolling upgrades in YARN, with:
    Work-preserving ResourceManager restart (YARN-556)
    Container-preserving NodeManager restart (YARN-1336)
  (2)、Support for admin-specified labels for servers in YARN for enhanced control and scheduling (YARN-796)
  (3)、Support for applications to delegate resources to others in YARN. This will allow external services to share not just YARN’s resource-management capabilities but also it’s workload-management capabilities. (YARN-1488)
  (4)、Support for automatically sharing application artifacts in the YARN distributed cache. (YARN-1492)

本博客文章除特别声明,全部都是原创!
原创文章版权归过往记忆大数据(过往记忆)所有,未经许可不得转载。
本文链接: 【Apache Hadoop 2.4.0已经发布】(https://www.iteblog.com/archives/1011.html)
喜欢 (3)
分享 (0)
发表我的评论
取消评论

表情
本博客评论系统带有自动识别垃圾评论功能,请写一些有意义的评论,谢谢!