flink搭建集群(一主三从)

    技术2025-03-14  25

    配置

    配置flink-conf.yaml vim flink-conf.yaml

    配置从节点 vim slaves

    配置高可用时还需配置masters配置文件。

    分发到其他节点: scp -r flink-1.9.2 node02:`pwd` scp -r flink-1.9.2 node03:`pwd` scp -r flink-1.9.2 node04:`pwd`

    配置环境变量: vim ~/.bashrc source ~/.bashrc

    启动flink

    cd bin

    ./start-cluster.sh

    主节点jps StandcloneSessionClusterEntrypoint就是JobManager

    从节点jps TaskManagerRunner就是TaskManager

    web ui

    默认的web ui的端口是8081,在flink-conf.yaml中配置 Task Managers 可管理的内存: Task Manager本身需要占用一部分内存,所以实际可用内存肯定比设置的要低 一般建议slot:cores=1:1
    Processed: 0.010, SQL: 9