Kafka ISR机制详解!

嗨,你好呀,我是猿java

Kafka 的高可用性和高可靠性与它的 ISR机制密切相关。那么,什么是 ISR? 它是如何工作的?这篇文章,我们来详解 Kafka 的 ISR 机制。

什么是 ISR机制?

ISR 的全称叫做In-Sync Replicas(同步副本集),ISR 动态维护了一个和 Leader 副本保持同步副本集合,ISR 中的副本全部都和 Leader 的数据保持同步。

ISR 机制通过副本冗余机制,提供了 kafka 消息的高可靠性,做到故障转移,保障服务的可用性。ISR 平衡了主从架构下,复制方案的选择(同步 / 异步 / 少数服从多数),让使用者根据参数自行选择。

ISR的作用

ISR的作用主要体现在以下几个方面:

生产消息时的ACK确认机制

当我们生产消息的时候,到底要写入多少副本才能算成功呢?通过 ISR 就可以知晓了哪些 follower 与 Leader 保持着同步,在写入消息的时候,设置写入处于 ISR 中所有的副本才算成功。Kafka提供了以下几种ACK确认机制:

acks=0

生产者不等待服务器的确认,消息发送后即认为成功,不管消息是否真正写入 Kafka,这种方式效率最高,但可靠性最低,数据可能存在丢失。

img

acks=1

生产者会等待来自 Leader分区的确认。Leader分区接收到消息并写入本地日志后即返回确认。这种方式在 Leader分区可用时可靠,但如果 Leader分区发生故障,可能会丢失数据。从 Kafka 2.0 开始,默认值是 acks=1

img

acks=all(或-1)

生产者等待所有 ISR(In-Sync Replica,同步副本)分区的确认。只有当消息被写入所有同步副本后才返回确认,这种方式最可靠,但性能较低。

img

Leader选举

当 Leader 挂了之后,我们应该选择哪个 follower 来成为新的 Leader 呢?从 ISR 中选择对应的 follower 成为新的 Leader。

最小 ISR副本数配置

Kafka提供了 min.insync.replicas 参数配置,这个参数可以配置最少 ISR 中需要多少个副本,才能继续提供写服务。如果设置为 2,一旦 ISR 中的个数小于 2,那么就不再提供写服务,牺牲一定的可用性,来保障这种高可靠的场景需求。

ISR的原理

ISR机制的实现原理如下:

1.Leader维护ISR

Leader负责维护ISR,当一个Follower赶上了Leader的进度,Leader会把它加入到ISR中;当一个Follower长时间未赶上Leader,或者主动退出同步,Leader会把它从ISR中移除,变成OSR(Out-of-Sync Replicas)。

2. 生产者发送消息

生产者发送消息给Leader,Leader会把消息append到本地log,并且复制给ISR中的所有Follower。

3. 消息提交

当ISR中的所有Follower都完成了复制,Leader会更新HW(High Watermark,最高提交偏移量),此时消息才算真正提交。

4. 消费者消费消息

消费者只能消费提交的消息,即位于HW之前的消息。

5. Follower同步数据

Follower定期主动从Leader拉取数据,保持与Leader的同步。当Follower死机或长时间未同步时,会被从ISR中移除。

6. Leader选举

当Leader所在的broker失效时,ISR中的其他Follower会选出一个新的Leader。选举规则是:选择ISR中最新的Follower。

实例分析

为了更好地理解 ISR机制,我们通过一个示例来讲解。

假设一个 Kafka 集群中有一个 Topic test,该 Topic 有一个分区 partition-0,该分区有 3 个副本,分别在 Broker 1、Broker 2 和 Broker 3 上。

在初始状态时:
Leader 副本:Broker 1
Follower 副本:Broker 2, Broker 3
所有的副本都工作良好,所以 ISR 集合为:[Broker 1, Broker 2, Broker 3]

假如 Broker 2 失效:
Broker 2 从 ISR 集合中移除,因此,ISR 集合变成了:[Broker 1, Broker 3]

接着 Broker 1 也失效了:
Broker 3 被选为新的 Leader,SR 集合变成了:[Broker 3]

再然后,Broker 2 恢复:
Broker 2 开始从 Broker 3 复制数据,Broker 2 追上 Broker 3 后,重新加入 ISR 集合,因此,ISR 集合变成了:[Broker 2, Broker 3]

ISR的优缺点

ISR机制的优点:

  1. 提供了消息的高可靠性,即使部分副本失效,只要ISR中还有副本存活,消息就不会丢失。
  2. 支持故障转移,当 Leader失效时,ISR中的Follower可以顺利接替成为新的 Leader,提高了系统的可用性。
  3. 通过ACK机制,生产者可以根据自己的需求,在可靠性和吞吐量之间进行权衡。

ISR机制的缺点:

  1. 同步复制会增加消息发送的延迟,因为生产者需要等待所有ISR中的副本完成复制。
  2. ISR中的副本越多,消息发送的延迟就越高。
  3. ISR中的副本数量受限于min.insync.replicas参数,如果副本数量低于该值,就无法提供写服务,会降低系统的可用性。

总结

ISR机制是 Kafka实现高可靠性和高可用性的关键所在,它通过动态维护一个和Leader保持同步的副本集合,为消息的可靠性提供了保证。同时,ISR机制还支持故障转移,当 Leader失效时,ISR中的 Follower可以顺利接替成为新的 Leader。

不过,ISR机制也存在一些缺点,比如会增加消息发送的延迟,并且ISR中的副本数量受限于 min.insync.replicas参数。因此,在使用ISR机制时,需要根据实际的业务需求,在可靠性、可用性和吞吐量之间进行权衡。

总的来说,ISR机制是 Kafka实现高可靠性和高可用性的一个重要机制,它的出现大大提高了 Kafka的实用性,使其成为了大数据领域广泛使用的消息队列系统。

交流学习

最后,把猿哥的座右铭送给你:投资自己才是最大的财富。 如果你觉得文章有帮助,请帮忙转发给更多的好友,或关注公众号:猿java,持续输出硬核文章。

drawing