Hadoop YARN自带了一系列的web service REST API,我们可以通过这些web service访问集群(cluster)、节点(nodes)、应用(application)以及应用的历史信息。根据API返回的类型,这些URL源归会类到不同的组。一些API返回collector类型的,有些返回singleton类型。这些web service REST API的语法如下:
[code lang="JAVA"]
http://{http address of service}/ws/{version}/{resourcepa
w397090770
12年前 (2014-02-27) 26553℃ 2评论
18喜欢
hadoop更新实在是太快了,现在已经更新到Hadoop-2.3.0版本(2014-02-11)。看了一下文档,和之前Hadoop-2.2.0的文档大部分类似,这篇文章主要是翻译一下Hadoop-2.3.0的文档。
Apache Hadoop 2.3.0和之前的Hadoop-1.x稳定版有了很大的提升。本篇文章主要是简要说说Hadoop 2.3.0中的HDFS和Mapreduce的提升(4、5两个特性是Hadoop2.x开始就支持的)。
w397090770
12年前 (2014-02-26) 7687℃ 2评论
2喜欢
写在前面的话,学Hive这么久了,发现目前国内还没有一本完整的介绍Hive的书籍,而且互联网上面的资料很乱,于是我决定写一些关于《Hive的那些事》序列文章,分享给大家。我会在接下来的时间整理有关Hive的资料,如果对Hive的东西感兴趣,请关注本博客。/archives/tag/hive的那些事
Hive内部自带了许多的服务,我们可以
w397090770
12年前 (2014-02-24) 19303℃ 1评论
10喜欢
写在前面的话,学Hive这么久了,发现目前国内还没有一本完整的介绍Hive的书籍,而且互联网上面的资料很乱,于是我决定写一些关于《Hive的那些事》序列文章,分享给大家。我会在接下来的时间整理有关Hive的资料,如果对Hive的东西感兴趣,请关注本博客。/archives/tag/hive的那些事
在本博客的《Hive几种数据导入方式》文章
w397090770
12年前 (2014-02-23) 76687℃ 5评论
49喜欢
写在前面的话,学Hive这么久了,发现目前国内还没有一本完整的介绍Hive的书籍,而且互联网上面的资料很乱,于是我决定写一些关于《Hive的那些事》序列文章,分享给大家。我会在接下来的时间整理有关Hive的资料,如果对Hive的东西感兴趣,请关注本博客。https://www.iteblog.com/archives/tag/hive-technology/
好久没写Hive的那些事了,今
w397090770
12年前 (2014-02-19) 93297℃ 5评论
133喜欢
由于经常会使用到Flume的一些channel,source,sink,于是为了方便将这些channel,source,sink汇总出来,也共大家访问。
Component Interface
Type Alias
Implementation Class
*.Channel
memory
*.channel.MemoryChannel
*.Channel
jdbc
*.channel.jdbc.JdbcChannel
*.Channel
file
*.channel.file.FileChannel
*.Channel
–
*.channel.PseudoTxnMemoryChannel
*.Channel
–
org.exa
w397090770
12年前 (2014-02-19) 19377℃ 0评论
13喜欢
Hadoop自带了一个历史服务器,可以通过历史服务器查看已经运行完的Mapreduce作业记录,比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下,Hadoop历史服务器是没有启动的,我们可以通过下面的命令来启动Hadoop历史服务器
[code lang="JAVA"]
$ sbin/mr-jobhistory-daemon.sh start historyserver
w397090770
12年前 (2014-02-17) 30367℃ 8评论
30喜欢
这是传智播客开办Hadoop培训以来的第一部视频教程,内容讲解精细,实战实例。是EasyHadoop创始人@童小军_HD 辛苦录制的Hadoop实战视频,视频一共包括14集,下载地址在下面。
本博客分享的其他视频下载地址:《传智播客Hadoop实战视频下载地址[共14集]》、《传智播客Hadoop课程视频资料[共七天]》、《Hadoop入门视频分享[共44
w397090770
12年前 (2014-02-16) 173119℃ 7评论
297喜欢
本博客分享的其他视频下载地址:《传智播客Hadoop实战视频下载地址[共14集]》、《传智播客Hadoop课程视频资料[共七天]》、《Hadoop入门视频分享[共44集]》、《Hadoop大数据零基础实战培训教程下载》、
《Hadoop2.x 深入浅出企业级应用实战视频下载》、《Hadoop新手入门视频百度网盘下载[全十集]》
本博客收集到的Hadoop学习书籍分享地
w397090770
12年前 (2014-02-14) 203129℃ 5评论
421喜欢
Hadoop自升级到2.x版本之后,有很多属性的名称已经被遗弃了,虽然这些被遗弃的属性名称目前还可以用,但是这里还是建议用新的属性名,主要遗弃的属性名称主要见下面表格:
已经被遗弃属性的名称
新的属性名称
create.empty.dir.if.nonexist
mapreduce.jobcontrol.createdir.ifnotexist
dfs.access.time.precision
dfs.namenode.accesstime.prec
w397090770
12年前 (2014-02-13) 17582℃ 0评论
10喜欢