Kafka 核心概念

主题 A (3 个分区) ├─ 分区 0: [msg0, msg1, msg2, ...] ├─ 分区 1: [msg3, msg4, msg5, ...] └─ 分区 2: [msg6, msg7, msg8, ...]

### 生产者 (Producer)

**生产者**是向 Kafka 主题写入数据的应用程序。生产者负责指定消息应发往哪个主题，并可选择性地决定发往哪个分区。Kafka 的 Producer API 支持异步发送、批量发送、消息确认等多种方式，保证高吞吐与可靠性。

关键行为：
- 发送时可以指定键 (Key)：相同 Key 的消息会被划入同一分区，从而保证相对顺序。
- 可配置的重试机制和幂等性保证，避免消息重复和丢失。

### 消费者 (Consumer) 与消费者组 (Consumer Group)

**消费者**是读取 Kafka 消息的应用程序。实践中，消费者大多通过**消费者组**协同工作：
- 同一消费者组内的多个消费者实例共同消费一个主题，每个分区只能被组内的一个消费者消费。
- 通过消费者组可实现负载均衡和水平扩展：增加消费者，就能增加消费并行度（但消费者数不能超过该主题的分区数）。
- 不同消费者组独立消费，互不影响，实现消息广播或复用。

Kafka 通过**偏移量提交**来记录消费进度，通常这些信息保存在一个内部的 `__consumer_offsets` 主题中，使得消费者重启后能从上一次位置继续消费，避免数据丢失或重复。

### 代理 (Broker)

**代理 (Broker)** 就是运行中的 Kafka 服务器。一个 Kafka 集群由多个 Broker 组成，它们协同管理主题的分区、接收生产者的写入、响应消费者的读取请求，并处理复制和高可用。

每个 Broker 负责某些分区的领导权 (Leader) 或副本 (Replica)：
- 每个分区只能有一个 Leader，负责本分区的所有读写。
- 其他 Broker 上的该分区副本仅用于数据冗余和故障转移。

### 偏移量 (Offset)

**偏移量**是分区内每条消息的唯一标识，是一个单调递增的 64 位整数。消费者通过记录自己处理的偏移量来追踪读取进度。偏移量由消费者负责提交，Kafka 不主动维护消费位置，这给了消费者灵活的控制权：可以重放旧消息，也可以精确选择从哪里开始消费（最早、最新或指定偏移量）。

---

## 存储与可靠性机制

### 日志存储模型

Kafka 将分区的消息以**日志片段 (Segment)** 的形式持久化到磁盘。它使用顺序追加写入的方式，避免了磁盘随机访问带来的性能损耗，即使在高吞吐场景下也能利用现代操作系统的页缓存实现极低的读写延迟。

这种不可变日志的设计带来了几个重要特性：
- 消息一旦写入就不会被修改，支持多消费者重复读取。
- 数据留存策略灵活，可以按时间或大小自动清理旧消息。
- 通过偏移量快速定位到历史数据，方便数据回溯和故障恢复。

### 复制与高可用

Kafka 通过分区复制实现高可用和数据冗余。每个分区可以配置多个副本（Replica），其中一个为 Leader，其余为 Follower。所有生产者和消费者都只与 Leader 交互；Follower 持续从 Leader 同步数据。

当 Leader 所在的 Broker 故障时，集群控制器会自动从同步状态正常的 Follower 中选出新 Leader，整个过程对应用透明。为保证数据一致性，可以配置最小同步副本数 (min.insync.replicas)，以及生产者确认策略（如 `acks=all`），以在可靠性和延迟之间取得平衡。

### 消息投递语义

Kafka 支持三种典型的消息投递语义：
- **最多一次 (At most once)**：消息可能丢失，但不重复。适合对丢失不敏感的指标统计场景。
- **至少一次 (At least once)**：消息绝不丢失，但可能重复。默认行为，通过重试机制保障。
- **精确一次 (Exactly once)**：Kafka 通过事务 API 和幂等生产者支持跨分区、跨会话的精确一次处理。

实际应用中，消费者通常需要配合幂等处理逻辑来容忍重复消息；而 Kafka Streams 等流处理库则在此基础上封装了完整的精确一次语义。

---

## 核心组件联动：一条消息的旅程

假设你有一个电商订单系统，通过 Kafka 发送“订单已创建”事件。

1. **生产者**：订单服务向 `orders_topic` 发送一条消息，消息 Key 使用订单 ID。
2. **分区**：因为指定了 Key，Kafka 通过 Hash 计算将该消息投入特定分区，保证同一订单的所有事件落入同一分区且有序。
3. **Broker 集群**：该分区的 Leader Broker 接收消息，将数据追加到日志文件，然后异步将其复制到 Follower 副本。
4. **消费者组**：“发货系统”作为消费者组 `shipping_group` 订阅 `orders_topic`。组内三个消费者实例各自负责一部分分区，并行拉取新消息，处理发货逻辑。
5. **偏移量**：消费者每处理完一批消息，就将偏移量提交回 Kafka；即使某个消费者实例崩溃，同组其他实例可以接替分区并从上一次提交的偏移量继续，保证不丢不差。