flink 1.9.2版本搭建的HA JM存在bug: 明明在node01, node02两个节点上都有JM,但是孰是activing,孰是standby状态无法区分。Spark是有明确的状态显示的。
单独启动JM或TM
分别单独执行jobmanager.sh taskmanager.sh即可:
集群角色划分说明
高可用实现步骤
HDFS用于保存JM的元数据信息,flink最擅长的是进行有状态的计算,因此也就需要对大量数据进行存储:
vim masters: 将所有的JM都加进来: 要将修改后的配置文件同步到其他节点:
启动HA集群
要先启动HDFS和zk。
要想将flink数据保存到hdfs,必须先下载这个插件:并将其放到flink的lib目录下。每个节点都要放。
启动