欢迎关注Hadoop、Spark、Flink、Hive、Hbase、Flume等大数据资料分享微信公共账号:iteblog_hadoop
  1. 文章总数:1065
  2. 浏览总数:14,442,003
  3. 评论:4179
  4. 分类目录:111 个
  5. 注册用户数:7048
  6. 最后更新:2019年10月17日
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
iteblog_hadoop
大数据技术博客公众号bigdata_ai
开发爱好者社区:
bigdata_ai

标签:Yarn

Alluxio

史上最全的大数据学习资源(Awesome Big Data)

史上最全的大数据学习资源(Awesome Big Data)
为了让大家更好地学习交流,过往记忆大数据花了一个周末的时间把 Awesome Big Data 里近 600 个大数据相关的调度、存储、计算、数据库以及可视化等介绍全部翻译了一遍,供大家学习交流。关系型数据库管理系统MySQL 世界上最流行的开源数据库。PostgreSQL 世界上最先进的开源数据库。Oracle Database - 对象关系数据库管理系统。T

w397090770   4周前 (09-23) 1418℃ 0评论12喜欢

Kubernetes

YuniKorn: Cloudera 开源的可适配 YARN & K8s 的新一代资源调度器

YuniKorn: Cloudera 开源的可适配 YARN & K8s 的新一代资源调度器
2019 年 7 月 17 日,Cloudera 官方博客发文开源了一个内部研发使用很久的大数据存储和通用计算平台交叉的新项目 YuniKorn。Yunikorn 是一个新的独立通用资源调度程序,负责为大数据工作负载分配/管理资源,包括批处理作业和长时间运行的服务。介绍YuniKorn 是一种轻量级的通用资源调度程序,适用于容器编排系统(container orchestrator s

w397090770   3个月前 (07-17) 1278℃ 0评论0喜欢

Hadoop

NodeManager节点自身健康状态检测机制

NodeManager节点自身健康状态检测机制
每个 NodeManager 节点内置提供了检测自身健康状态的机制(详情参见 NodeHealthCheckerService);通过这种机制,NodeManager 会将诊断出来的监控状态通过心跳机制汇报给 ResourceManager,然后ResourceManager 端会通过 RMNodeEventType.STATUS_UPDATE 更新 NodeManager 的状态;如果此时的 NodeManager 节点不健康,那么 ResourceManager 将会把 NodeManager 状态变为 NodeState

w397090770   2年前 (2017-06-08) 2631℃ 0评论18喜欢

Hadoop

NodeManager生命周期介绍

NodeManager生命周期介绍
ResourceManager 内维护了 NodeManager 的生命周期;对于每个 NodeManager 在 ResourceManager 中都有一个 RMNode 与其对应;除了 RMNode ,ResourceManager 中还定义了 NodeManager 的状态(states)以及触发状态转移的事件(event)。具体如下:org.apache.hadoop.yarn.server.resourcemanager.rmnode.RMNode:这是一个接口,每个 NodeManager 都与 RMNode 对应,这个接口主要维

w397090770   2年前 (2017-06-07) 2269℃ 0评论21喜欢

Hadoop

Apache YARN各组件功能概述

Apache YARN各组件功能概述
Apache YARN是将之前Hadoop 1.x的 JobTracker 功能分别拆到不同的组件里面了,每个组件分别负责不同的功能。在Hadoop 1.x中, JobTracker 负责管理集群的资源,作业调度以及作业监控;YARN把这些功能分别拆到ResourceManager 和 ApplicationMaster 中了。而之前的TaskTracker被NodeManager替代。下面分别介绍YAEN的各个组件的作用。如果想及时了解Spark、Had

w397090770   2年前 (2017-06-01) 2930℃ 0评论29喜欢

Hadoop

如何给运行在YARN上的MapReduce作业配置内存

如何给运行在YARN上的MapReduce作业配置内存
  如果你经常写MapReduce作业,你肯定看到过以下的异常信息:[code lang="bash"]Application application_1409135750325_48141 failed 2 times due to AM Container forappattempt_1409135750325_48141_000002 exited with exitCode: 143 due to: Container[pid=4733,containerID=container_1409135750325_48141_02_000001] is running beyond physical memory limits.Current usage: 2.0 GB of 2 GB physical memory used; 6.0 GB of

w397090770   3年前 (2016-12-29) 2824℃ 1评论11喜欢

Hadoop

MapReduce作业的map task和reduce task调度参数

MapReduce作业的map task和reduce task调度参数
  MapReduce作业可以细分为map task和reduce task,而MRAppMaster又将map task和reduce task分为四种状态:  1、pending:刚启动但尚未向resourcemanager发送资源请求;  2、scheduled:已经向resourceManager发送资源请求,但尚未分配到资源;  3、assigned:已经分配到了资源且正在运行;  4、completed:已经运行完成。  map task的

w397090770   3年前 (2016-08-01) 2104℃ 0评论4喜欢

Flink

Flink是如何与YARN进行交互的

Flink是如何与YARN进行交互的
在前面(《Flink on YARN部署快速入门指南》的文章中我们简单地介绍了如何在YARN上提交和运行Flink作业,本文将简要地介绍Flink是如何与YARN进行交互的。  YRAN客户端需要访问Hadoop的相关配置文件,从而可以连接YARN资源管理器和HDFS。它使用下面的规则来决定Hadoop配置:  1、判断YARN_CONF_DIR,HADOOP_CONF_DIR或HADOOP_CONF_PATH等环境

w397090770   4年前 (2016-04-04) 4280℃ 0评论5喜欢

Spark

在Yarn上运行Apache Zeppelin & Spark

在Yarn上运行Apache Zeppelin & Spark
  默认情况下,Apache Zeppelin启动Spark是以本地模式起的,master的值是local[*],我们可以通过修改conf/zeppelin-env.sh文件里面的MASTER的值如下:[code lang="bash"]export MASTER= yarn-clientexport HADOOP_HOME=/home/q/hadoop/hadoop-2.2.0export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop/[/code]然后启动Zeppelin,但是我们有时会发现日志出现了以下的异常信息:ERRO

w397090770   4年前 (2016-01-22) 10684℃ 16评论12喜欢

Hadoop

Spark on YARN客户端模式作业运行全过程分析

Spark on YARN客户端模式作业运行全过程分析
《Spark on YARN集群模式作业运行全过程分析》《Spark on YARN客户端模式作业运行全过程分析》《Spark:Yarn-cluster和Yarn-client区别与联系》《Spark和Hadoop作业之间的区别》《Spark Standalone模式作业运行全过程分析》(未发布)  在前篇文章中我介绍了Spark on YARN集群模式(yarn-cluster)作业从提交到运行整个过程的情况(详情见《Spar

w397090770   5年前 (2014-11-04) 17792℃ 5评论12喜欢