Kafka 的 Consumer Group 是什么？

什么是 Consumer Group？

Consumer Group 是 Kafka 提供的一种消费者组织方式，允许多个消费者以组的形式共同消费一个或多个主题的消息。Consumer Group 允许多个 Consumer 实例协同工作，在保证分区顺序消费的同时提供水平扩展能力。这就像一个团队在协作处理工作，每个成员负责其中的一部分任务。

简介

Consumer Group 简介

Consumer Group 的主要特点

1. 消费分工

同一个分区只能被组内一个消费者消费
一个消费者可以同时消费多个分区
组内成员之间自动负载均衡

2. Consumer Offset 管理

消费进度跟踪：
├── 自动提交：enable.auto.commit=true
└── 手动提交：enable.auto.commit=false

3. Consumer Group 隔离

不同 Consumer Group 之间互不影响：

Topic-A
├── Consumer Group 1: 处理订单创建
└── Consumer Group 2: 处理订单统计

实际应用场景

1. 消息广播

一条消息需要被多个系统处理：
├── Group 1: 订单系统
├── Group 2: 物流系统
└── Group 3: 统计系统

2. 负载均衡

单个消费者处理能力不足时：
Topic: "用户注册"
├── Consumer 1: 处理 25% 的消息
├── Consumer 2: 处理 25% 的消息
├── Consumer 3: 处理 25% 的消息
└── Consumer 4: 处理 25% 的消息

Consumer Group 配置最佳实践

1. 基础配置

# 消费者组ID
group.id=order-processing-group

# 消费提交方式
enable.auto.commit=false

# 消费者组会话超时时间
session.timeout.ms=10000

# 心跳间隔时间
heartbeat.interval.ms=3000

2. Consumer 数量规划

Consumer 数量配置原则：

最小值

至少需要 1 个 Consumer
确保每个分区都能被消费

最大值

不应超过分区总数
超出分区数的 Consumer 将处于闲置状态
浪费系统资源

建议值

计算公式：分区数 ÷ 单个 Consumer 处理能力
根据实际负载情况动态调整
建议预留 30% 的处理能力冗余

3. Consumer Offset 提交策略

Consumer Offset 是记录 Consumer 消费进度的关键机制。每个 Consumer 都需要定期向 Kafka 提交自己的消费位置（offset），以便在重启或故障时能够从正确的位置继续消费。

提交策略主要分为两种：

自动提交：由 Kafka 客户端自动处理，简单但可能丢失消息
手动提交：由开发者控制提交时机，可靠性更高

以下是手动提交的示例代码：

// 手动提交示例
while (true) {
    // 拉取消息，超时时间为 100ms
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records) {
        // 处理消息
        processMessage(record);
    }
    // 批量处理完成后手动提交
    // commitSync() 会阻塞直到提交成功或失败
    consumer.commitSync();
}

代码说明：

使用 poll() 方法批量拉取消息
循环处理每条消息
确保所有消息处理完成后才提交 offset
使用 commitSync() 同步提交，确保提交结果

这种方式虽然性能略低，但可以确保消息不会丢失，适合对数据可靠性要求较高的场景。

常见问题及解决方案

1. Consumer 数量过多

问题描述：Consumer 数量超过分区数，导致资源浪费。

解决方案：

控制 Consumer 数量不超过分区数
如果确实需要更多并行度，考虑增加分区数
评估实际处理能力需求，合理配置 Consumer 数量

2. 消费倾斜

问题描述：某些 Consumer 负载过重，而其他 Consumer 相对空闲。

解决方案：

检查分区分配策略是否合理
考虑增加分区数，实现更细粒度的负载均衡
优化消息的 key 分布，避免热点分区
监控各 Consumer 的处理能力和负载情况

3. 重复消费

问题描述：同一条消息被重复处理，影响业务正确性。

解决方案：

实现消息幂等性处理机制
使用手动提交 offset 策略
合理设置提交间隔
实现业务级别的去重机制

小结

Consumer Group 是 Kafka 实现高伸缩性和容错性的关键机制。合理使用和配置 Consumer Group，可以帮助我们构建更可靠的消息处理系统。