Kafka用法总结_代码007(未授权)

本文介绍: Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。

Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。

消息队列（Message queue）是一种进程间通信或同一进程的不同线程间的通信方式。把数据放到消息队列的叫做生产者，把数据从生产队列取出的叫做消费者。

消息队列目前有两种模式，点对点模式和发布/订阅模式

在这里插入图片描述

消息生产者生产消息发送到queue中，然后消息消费者从queue中取出并且消费消息。消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费。

在这里插入图片描述

组成	说明
producer	消息生产者
consumer	消息消费者
consumer group	消费者组，由多个消费者组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者
broker	一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic
topic	生产者和消费者面向的都是一个topic（类似队列）
partition	一个大的topic可以分布到多个broker上，一个topic可以分为多个partition，每个partition是一个有序的队列。
leader	生产者发送数据的对象，以及消费者消费数据的对象都是leader。是多个副本中的主
follower	实时从leader同步数据并保持一致性。当leader故障时数据不会丢失，并会有一个follower成为leader代其工作。

kafka-topics.sh --zookeeper hadoop102:2181/kafka --create --replication-factor 3 --partitions 1 --topic topicA

kafka-topics.sh --zookeeper hadoop102:2181/kafka --list

kafka-topics.sh --zookeeper hadoop102:2181/kafka --describe --topic topicA

kafka-console-producer.sh --broker-list hadoop102:9092 --topic topicA

kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --from-beginning --topic topicA

kafka-topics.sh --zookeeper hadoop102:2181/kafka --alter --topic topicA --partitions 3

kafka-topics.sh --zookeeper hadoop102:2181/kafka --delete --topic topicA

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。

Kafka用法总结