irpas技术客

Flink集群部署_Siobhan. 明鑫_flink集群部署

大大的周 6500

1、环境准备工作 1.1 基础环境 JDK1.8 及以上【配置 JAVA_HOME 环境变量】 ? SSH 免密码登录【集群内节点之间免密登录】 1.2 安装包下载 使用 Flink1.12.0 版本 2、Local模式部署 在 Local 模式下,不需要启动任何的进程,仅仅是使用本地线程来模拟 Flink 的进程,适用于测试开发调试 等,这种模式下,不用更改任何配置,只需要保证 JDK8 安装正常即可。 2.1 解压直接启动 Flink 在处于 Local 模式下,不需要更改任何配置,直接解压之后启动即可。 执行以下命令直接启动 Local 模式 解压命令: [root@master ~]# tar zxvf flink-1.12.0-bin-scala_2.12.tgz

修改路径命令:

# 修改flink安装包目录到/root/package/ [root@master ~]# mv flink-1.12.0-bin-scala_2.12.tgz /root/package/ #修改解压后文件目录到/usr/local [root@master ~]# mv flink-1.12.0 /usr/local

?

启动: # 切换到flink目录下 [root@master flink-1.12.0]# cd /usr/local/flink-1.12.0/bin/ # 首先启动集群 [root@master bin]# start-all.sh [root@master bin]# jps 1782 NameNode 2135 ResourceManager 1979 SecondaryNameNode 2396 Jps 执行以下命令直接启动Local模式 # flink启动命令 [root@master flink-1.12.0]# cd /usr/local/flink-1.12.0/bin/ [root@master bin]# ./start-cluster.sh [root@master bin]# jps 3040 TaskManagerRunner 2757 StandaloneSessionClusterEntrypoint 1782 NameNode 3110 Jps 2135 ResourceManager 1979 SecondaryNameNode

启动成功之后,执行jps就能查看到启动了两个进程 :

2.2 Web UI界面访问 启动两个进程成功之后,访问 8081 端口号即可访问到 Flink 的 Web 管理界面

?http://192.168.153.10:8081/#/overview

?3、StandAlone模式部署

?使用StandAlone模式,需要启动Flink的主节点JobManager以及从节点TaskManager。

3.1 更改配置文件 停止master 服务器上面 local 模式下的两个进程,然后修改master 服务器配置文件 [root@master bin]# ./stop-cluster.sh master服务器更改 flink-conf.yaml 配置文件文件 [root@master bin]# cd /usr/local/flink-1.12.0/conf/ [root@master conf]# ll [root@master conf]# vi flink-conf.yaml

?

?

master服务器更改workers配置文件

[root@master conf]# cd /usr/local/flink-1.12.0/conf/ [root@master conf]# ll [root@master conf]# vi workers

?

3.2 分发安装包到各节点 将master 服务器的 Flink 安装包分发到其他机器上面去 ?? master服务器执行以下命令分发安装包 scp -r flink-1.12.0 slave1:/usr/local/ scp -r flink-1.12.0 slave2:/usr/local/ [root@master conf]# cd /usr/local [root@master local]# scp -r flink-1.12.0 slave1:/usr/local/ [root@master local]# scp -r flink-1.12.0 slave2:/usr/local/ 3.3 启动Flink集群 master执行以下命令启动 flink 集群 [root@master conf]# cd /usr/local/flink-1.12.0/bin [root@master bin]# ./start-cluster.sh Starting cluster. Starting standalonesession daemon on host master. Starting taskexecutor daemon on host master. Starting taskexecutor daemon on host slave1. Starting taskexecutor daemon on host slave2. [root@master bin]# jps 4514 Jps 4132 StandaloneSessionClusterEntrypoint 1782 NameNode 2135 ResourceManager 4458 TaskManagerRunner 1979 SecondaryNameNode [root@master bin]# 3.4 页面访问 ? http://master:8081/#/overview 即可访问 Flink Web UI 界面。

?

?http://192.168.153.10:8081/#/overview

?slave1节点:

slave2节点:

3.5 运行Flink自带的jar包 ? 运行flink自带的测试用例: master执行下面命令启动socket 服务,然后输入单词 nc -lk 6666

首先需要下载nc? 否则报错

?安装nc:

yum install nc -y


1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,会注明原创字样,如未注明都非原创,如有侵权请联系删除!;3.作者投稿可能会经我们编辑修改或补充;4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。

标签: #flink集群部署 #flink环境搭载