kafka特点
1、解耦 生产和消费两端不必直连,中间缓存 2、缓冲 DMQ消峰 解决生产大于消费的问题
kafka场景
1、大量数据统计显示 2、运营监控
概念
topic 相当于数据库内的表,某个topic下有多个分区,用于分别消费 zookeeper HW[high watermark] 标识特定的offset,消费者只能拉去到offset之前的消息。
消息队列的模型
1、点对点 1v1 【消费者主动拉取】 2、发布订阅模式 【生产者主动发送 】
zookeeper作用
1、存储kafka集群的信息 2、帮助消费者 存储消费队列的位置信息
kafka消息
1、 消费存储在kafka集群磁盘内 默认存储7天
生产消费调优
1、同一个主题 分区数等于同消费者组内消费者的个数