本文介绍: 新的位移管理机制也很简单，就是将 Consumer 的位移数据作为一条条普通的 Kafka 消息，提交到 __consumer_offsets 中。虽然我们可以手动修改位移主题，但它的消息格式却是Kafka自己定义的，不能随便修改，也就是说不能随意地向这个主题写消息，一旦你写入的消息不满足 Kafka 规定的格式，那么 Kafka 内部无法成功解析，就会造成 Broker 的崩溃。当然这只是大体的消息格式，实际上的设计比这个复杂的多，我们有个大体的概念即可，又深入了解的朋友欢迎评论区交流。
位移主题
前面的章节中已经多次提到消费位移了，本节内容就要深入了解下消费位移topic：__consumer_offsets（前面是两个下划线），我们也可以称其为“位移主题”
上一节有提到老版本 Consumer 的位移管理是通过ZooKeeper实现的。当 Consumer 重启时，从 ZooKeeper 中读取位移数据，继续上一次的消费。这使得 Kafka Broker 不需要保存位移数据，减少了 Broker 端需要持有的状态空间，有利于实现高伸缩性。
但ZooKeeper并不适用于这种高频写操作，因此Kafka在更新了几个版本之后，最终抛弃了位移管理机制，同时引入了__consumer_offsets这个内部主题。
新的位移管理机制也很简单，就是将 Consumer 的位移数据作为一条条普通的 Kafka 消息，提交到 __consumer_offsets 中。__consumer_offsets 的主要作用是保存 Kafka 消费者的位移信息。它要求这个提交过程不仅要实现高持久性，还要支持高频的写操作。Kafka本身的设计就满足这两个条件，因此使用 __consumer_offsets 主题来保存位移就水到渠成了。
位移主题并不神秘，你可以手动地创建它、修改它，甚至删除它。不过大部分情况下，不需要管理它，既然是内部主体，把它交给 Kafka就行了。
消息格式
虽然我们可以手动修改位移主题，但它的消息格式却是Kafka自己定义的，不能随便修改，也就是说不能随意地向这个主题写消息，一旦你写入的消息不满足 Kafka 规定的格式，那么 Kafka 内部无法成功解析，就会造成 Broker 的崩溃。
创建时机
删除过期位移
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
