欢迎关注Hadoop、Spark、Flink、Hive、Hbase、Flume等大数据资料分享微信公共账号:iteblog_hadoop
  1. 文章总数:978
  2. 浏览总数:11,952,765
  3. 评论:3936
  4. 分类目录:106 个
  5. 注册用户数:6116
  6. 最后更新:2018年12月15日
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
iteblog_hadoop
大数据技术博客公众号bigdata_ai
大数据猿:
bigdata_ai

Flink独立集群模式安装(Cluster Standalone)

《Flink本地模式安装(Local Setup)》的文章中,我简单地介绍了如何本地模式安装(Local Setup)Flink,本文将介绍如何Flink集群模式安装,主要是Standalone方式。

要求(Requirements)

Flink可以在Linux, Mac OS X 以及Windows(通过Cygwin)等平台上运行。集群模式主要是由一个master节点和一个或者多个worker节点组成。在你启动集群的各个组件之前,确保每个节点上都安装了下面的软件:

我们必须在每个节点上配置好JAVA_HOME环境变量,并将这个值设定成Java的安装路径。

Flink部署(Flink Setup)

Flink配置(Configuring Flink)

首先到Flink官网下载好相应的包,然后解压等, 并进入解压后的Flink根目录。然后我们对其进行相关的配置。主要涉及到的配置文件是conf/flink-conf.yaml

我们将jobmanager.rpc.address的值设置成你master节点的IP地址。此外,我们通过jobmanager.heap.mbtaskmanager.heap.mb配置参数来设置每个节点的JVM能够分配的最大内存。从配置参数名字可以看出,这个参数的单位是MB,如果某些节点拥有比你之前设置的值更多的内存时,我们可以在那个节通过FLINK_TM_HEAP参数类覆盖值钱的设置。

最后,我们需要把所有将要作为worker节点的IP(或者是hostname)地址存放在conf/slaves文件中,就像HDFS配置一样。每个worker节点最后会运行一个TaskManager。在conf/slaves文件中,每个IP地址必须放在一行,如下:

192.168.0.100
192.168.0.101
.
.
.
192.168.0.150

我们最好将Flink安装包放在每个worker节点的同一位置上,你可以使用共享NSF目录或者将配置好的Flink安装包分发到所有的worker节点上。

下面介绍几个比较重要的选项:

taskmanager.heap.mb:每个TaskManager可用的总内存
taskmanager.numberOfTaskSlots:每台机器上可用CPU的总数
parallelism.default:每个Job运行时默认的并行度(这个参数在文档中介绍好像有问题)
taskmanager.tmp.dirs:临时目录

关于更详细的Flink配置请参见Flink官方网站:https://ci.apache.org/projects/flink/flink-docs-master/setup/config.html。

启动Flink(Starting Flink)

在master节点上运行下面的脚本,那么这台机器上将会启动一个JobManager,并通过SSH连接列在slaves文件中的所有节点以便在每个节点上启动TaskManager。

[iteblog@www.iteblog.com ~]$ bin/start-cluster.sh

一切顺利的话,我们的Flink集群模式已经部署完成!运行在master的JobManager进程通过配置好的RPC端口来接收Job的提交。

如果你想停止集群,可以在master节点上运行下面的命令:

[iteblog@www.iteblog.com ~]$ bin/stop-cluster.sh

在已经运行的集群中添加JobManager/TaskManager

  我们可以通过bin/taskmanager.sh或者bin/jobmanager.sh脚本在已经运行的集群中添加JobManager或者TaskManager节点

添加一个JobManager

[iteblog@www.iteblog.com ~]$ bin/jobmanager.sh (start cluster)|stop|stop-all

添加一个TaskManager

[iteblog@www.iteblog.com ~]$ bin/taskmanager.sh start|stop|stop-all

需要注意的是,我们必须在我们期望作为JobManager或者TaskManager的机器上运行上面的脚本。

本文翻译自:https://ci.apache.org/projects/flink/flink-docs-master/setup/cluster_setup.html
本博客文章除特别声明,全部都是原创!
转载本文请加上:转载自过往记忆(https://www.iteblog.com/)
本文链接: 【Flink独立集群模式安装(Cluster Standalone)】(https://www.iteblog.com/archives/1649.html)
喜欢 (7)
分享 (0)
发表我的评论
取消评论

表情
本博客评论系统带有自动识别垃圾评论功能,请写一些有意义的评论,谢谢!