Kafka中消息是以topic进行分类的，生产者生产消息，消费者消费消息，都是面向topic的。
基础架构
（1）Producer ：消息生产者，就是向kafka broker发消息的客户端；
（2）Consumer ：消息消费者，向kafka broker取消息的客户端；
（3）Consumer Group （CG）：消费者组，由多个consumer组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。
（4）Broker ：一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic。
（5）Topic ：可以理解为一个队列，生产者和消费者面向的都是一个topic；
（6）Partition：为了实现扩展性，一个非常大的topic可以分布到多个broker（即服务器）上，一个topic可以分为多个partition，每个partition是一个有序的队列；
（7）Replica：副本，为保证集群中的某个节点发生故障时，该节点上的partition数据不丢失，且kafka仍然能够继续工作，kafka提供了副本机制，一个topic的每个分区都有若干个副本，一个leader和若干个follower。
（8）leader：每个分区多个副本的“主”，生产者发送数据的对象，以及消费者消费数据的对象都是leader。
（9）follower：每个分区多个副本中的“从”，实时从leader中同步数据，保持和leader数据的同步。leader发生故障时，某个follower会成为新的follower。
topic是逻辑上的概念，而partition是物理上的概念。
每个partition对应于一个log文件，该log文件中存储的就是producer生产的数据。
生产者生产的消息会不断追加到log文件末尾，为防止log文件过大导致数据定位效率低下，Kafka采取了分片和索引机制，将每个partition分为多个segment。
每个segment对应两个文件——“.index”文件和“.log”文件。这些文件位于一个文件夹下，该文件夹的命名规则为：topic名称+分区序号。
例如，first这个topic有三个分区，则其对应的文件夹为first-0,first-1,first-2。
方便扩展、提高并发读写
producer发送的数据会封装成一个ProducerRecord对象
（1）指明 partition 的情况下，直接将指明的值直接作为 partiton 值；
（2）没有指明 partition 值但有 key 的情况下，将 key 的 hash 值与 topic 的 partition 数进行取余得到 partition 值；
（3）既没有 partition 值又没有 key 值的情况下，第一次调用时随机生成一个整数（后面每次调用在这个整数上自增），将这个值与 topic 可用的 partition 总数取余得到 partition 值，也就是常说的 round-robin 算法。
1、如何确定数据的可靠性
通过确认应答机制
2、什么时候发送应答？
副本与leader同步后再发送应答
3、多少个副本同步后再发送应答？
现有方案两个：
①半数以上follower同步完成以后发送ack（延迟低、容忍度2n+1）
关于半数机制
半数机制是为了防止脑裂
只有在半数以上的follower同步完成，才能保证参与投票的半数以上的follower里至少有一个同步完成的。
关于容忍度
在容忍n台故障的情况下，需要多少个副本。
②所有follower同步完成以后发送ack（kafak选择的方案）（延迟高、容忍度n+1）
4、若有一个follower一直未同步完成，那么leader会一直等下去吗？
不会。
Leader维护了一个动态的in-sync replica set (ISR)，意为和leader保持同步的follower集合。
当ISR中的follower完成数据的同步之后，leader就会给follower发送ack。
如果follower长时间未向leader同步数据，则该follower将被踢出ISR。
该时间阈值由replica.lag.time.max.ms参数设定。
Leader发生故障之后，就会从ISR中选举新的leader。
对于某些不太重要的数据，对数据的可靠性要求不是很高，能够容忍数据的少量丢失，所以没必要等ISR中的follower全部接收成功。
所以Kafka为用户提供了三种可靠性级别，用户根据对可靠性和延迟的要求进行权衡，选择以下的配置。
acks参数配置：
acks：
0：producer不等待broker的ack。
可能会丢失数据
1：producer等待broker的ack，partition的leader落盘成功后返回ack。
可能会丢失数据，若leader刚落盘成功，挂了，则选举新leader，数据丢失。
-1：producer等待broker的ack，partition的leader和follower全部落盘成功后才返回ack。
可能会重复数据，若leader落盘成功，同步成功，挂了，此数据无应答，会有重复数据。
Follower故障，踢出ISR之后再次同步时，会将HW之后的数据截掉，从HW开始向Leader同步
Leader故障，选取新的Leader，所有follower截取HW后的数据，从HW开始向Leader同步
保证了数据的一致性。
