阅读量:2
Kafka使用了偏移量（offset）来解决重复消费问题。
偏移量是一个持久化的标识，用于标记某个消费者在特定分区中已经消费的消息位置。每个分区都有自己的偏移量。
当消费者成功消费一条消息后，会将偏移量提交给Kafka。Kafka会将提交的偏移量保存在内部的主题中。这样，即使消费者重新启动，它也可以通过读取保存的偏移量来确定接下来需要从哪个位置开始继续消费。
通过使用偏移量，Kafka可以确保消费者不会重复消费消息。当消费者重新加入消费组时，它会从最新的提交的偏移量开始继续消费。
此外，Kafka还提供了以下两种处理重复消费的机制：
自动提交偏移量：消费者可以配置为自动提交偏移量。在这种情况下，Kafka会自动定期提交偏移量。但是，如果消费者在提交偏移量之前崩溃，可能会导致重复消费。
手动提交偏移量：消费者可以手动控制何时提交偏移量。在这种情况下，消费者可以根据自身逻辑来决定何时提交偏移量。这样可以更精确地控制提交的时间点，避免重复消费的问题。
