kafka学习-00

    技术2022-07-12  80

    kafka特点

    1、解耦 生产和消费两端不必直连,中间缓存 2、缓冲 DMQ消峰 解决生产大于消费的问题

    kafka场景

    1、大量数据统计显示 2、运营监控

    概念

    topic 相当于数据库内的表,某个topic下有多个分区,用于分别消费 zookeeper HW[high watermark] 标识特定的offset,消费者只能拉去到offset之前的消息。

    消息队列的模型

    1、点对点 1v1 【消费者主动拉取】 2、发布订阅模式 【生产者主动发送 】

    zookeeper作用

    1、存储kafka集群的信息 2、帮助消费者 存储消费队列的位置信息

    kafka消息

    1、 消费存储在kafka集群磁盘内 默认存储7天

    生产消费调优

    1、同一个主题 分区数等于同消费者组内消费者的个数

    Processed: 0.011, SQL: 9