Flink系列:setParallelism 并行度使用方法示例Demo

    技术2022-07-20  82

    并行度

    一个任务(Source、Transformation、Sink)的并行实例(线程〉数目称为该任务的并行度

     

    Slots 

    Task Manager为集群提供Slots,一个Task Manager节点的Slots数通常是CPU的核数。

     

    并行度优先级

    一个任务的并行度设置包含下面4个层面: • Operator Level (算子层面〉 • Execution Environment Level (执行环境层面〉

     

    • Client Level (客户 层面〉 • System Level (系统层面)

     

    优先级为 Operator Level> Execution Environment Level>Client Level>System Level

     

     

    并行度的使用方法

    Operator Level (算子层面〉

      • Execution Environment Level (执行环境层面〉

    • Client Level (客户 层面〉 客户端提交 Job到Flink时-p参数设置: ./bin/flink run -p 10 WordCount- java . jar   • System Level (系统层面) flink-conf. yaml文件 使用parallelism.default属性来设置所有执行环境的默认并行度。  

    Demo

       

     

     

    Processed: 0.010, SQL: 9