欢迎关注Hadoop、Spark、Flink、Hive、Hbase、Flume等大数据资料分享微信公共账号:iteblog_hadoop
  1. 文章总数:1036
  2. 浏览总数:13,419,083
  3. 评论:4091
  4. 分类目录:108 个
  5. 注册用户数:6831
  6. 最后更新:2019年6月23日
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
iteblog_hadoop
大数据技术博客公众号bigdata_ai
Hadoop技术博文:
bigdata_ai

Apache Hadoop 2.5.2发布:YARN新增部分功能

  Apache Hadoop 2.5.2于2014年11月19日发布,该版本是2.5.x的分支,主要修复了2.5.0之后的一些关键bug:

HADOOP-11243. SSLFactory shouldn't allow SSLv3. (Wei Yan via kasha)
HADOOP-11260. Patch up Jetty to disable SSLv3. (Mike Yoder via kasha)
HADOOP-11307. create-release script should run git clean first. (kasha)

  下面是2.5.2中功能提升的简单概述:

Common

  1、 HTTP proxy server中的权限控制(Authentication)有所提升。如果你通过代理服务器(proxy server)来访问WebHDFS 是很有用的。
  2、新增了一个Hadoop metrics sink,允许用户直接向Graphite写数据;
  3、 Hadoop Compatible Filesystem (HCFS) ,模块也做也想过的工作。

HDFS

  1、支持POSIX风格文件系统的扩展属性,详情请参见文档http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-hdfs/ExtendedAttributes.html
  2、通过WebHDFS API,clients可以利用OfflineImageViewer浏览fsimage;
  3、NFS gateway修复了一些bug,并带来了一系列的功能提升。 Hadoop portmapper 不再需要运行gateway,因为gateway现在能够拒绝来自非特权端口上的连接请求;
  4、SecondaryNameNode, JournalNode和DataNode web UIs页面已经用HTML5 和Javascript重写了。

YARN

  1、YARN中REST APIs现在支持写、更改操作。用户可以通过REST APIs来提交或者杀死作业。
  2、YARN中存储的timeline,用于存储application中的一般或者特殊信息,目前支持Kerberos安全控制。
  3、Fair Scheduler支持用户队列的动态分级,用户可以在任何父队列中动态的创建队列

  更多的更新信息请参见Apache Hadoop 2.5.2的用户文档http://hadoop.apache.org/docs/r2.5.2/index.html

  上面可能翻译的不太好,可以参见英文:
Common
  1、Authentication improvements when using an HTTP proxy server. This is useful when accessing WebHDFS via a proxy server.
  2、A new Hadoop metrics sink that allows writing directly to Graphite.
  3、Specification work related to the Hadoop Compatible Filesystem (HCFS) effort.
HDFS
  1、Support for POSIX-style filesystem extended attributes. See the user documentation for more details.
  2、Using the OfflineImageViewer, clients can now browse an fsimage via the WebHDFS API.
  3、The NFS gateway received a number of supportability improvements and bug fixes. The Hadoop portmapper is no longer required to run the gateway, and the gateway is now able to reject connections from unprivileged ports.
  4、The SecondaryNameNode, JournalNode, and DataNode web UIs have been modernized with HTML5 and Javascript.
YARN
  1、YARN's REST APIs now support write/modify operations. Users can submit and kill applications through REST APIs.
  2、The timeline store in YARN, used for storing generic and application-specific information for applications, supports authentication through Kerberos.
  3、The Fair Scheduler supports dynamic hierarchical user queues, user queues are created dynamically at runtime under any specified parent-queue.
本博客文章除特别声明,全部都是原创!
转载本文请加上:转载自过往记忆(https://www.iteblog.com/)
本文链接: 【Apache Hadoop 2.5.2发布:YARN新增部分功能】(https://www.iteblog.com/archives/1206.html)
喜欢 (5)
分享 (0)
发表我的评论
取消评论

表情
本博客评论系统带有自动识别垃圾评论功能,请写一些有意义的评论,谢谢!
(1)个小伙伴在吐槽