Flink系列:Kafka Producer 容错处理方法

    技术2022-08-03  80

    注意不同版本的处理方式不同

    Kafka 0.9、Kafka0.10

    FlinkKatkaProducer09/FlinkKatkaProducer010提供At-least-once 的语义,还需要配置下面两个参数   setLogFailuresOnly(false)   setFlushOnCheckpoint(true)    

    Kafka 0.11

    Flink 开启 CheckPoint, 则FlinkKafkaProducer011提供 Exactly-once语义支持。 支持以下选项   Semantic NONE Semantic.AT_LEAST ONCE(默认) Semantic.EXACTLY ONCE
    Processed: 0.022, SQL: 10