Kafka笔记-搭建及单机生产者、消费者操作_kafka 生产者消费者在一个程序里启动

Kafaka面向数据流的生成转换消费的流处理平台

 

Kafaka基本概念

Producer：消息和数据的生产者，向Kafka的一个topic发布消息的进程/代码/服务

Consumer：消息和数据的消费者，订阅数据Topic并且处理其发布消息的进程/代码/服务

 

Consumer Group：逻辑概念，对于同一个topic，会广播给不同的group，一个group中，只有一个sonsumer可以消费该消息

 

 

Kafka基本概念

Broker：物理概念，Kafka集群中每个Kafka结点。

Topic：逻辑概念，Kafka消息类别，对数据进行分区、隔离

Partition：物理概念，Kafka下数据存储的基本单元。一个Topic数据，会分散存储到多个Partitoin，每一个Partition是有序的。

Replication：同一个Partition可能会有多个Replica，多个Replica之间的数据是一样的。

Replication Leader：一个Partition的多个Replica上，需要一个Leader负责该Partition上与Producer和Consumer交互。

ReplicaManager：负责管理当前broker所有分区和副本的信息，处理KafkaController发起的一些请求，副本状态的切换、添加/读取消息等。

 

 

Partition：

    ·每一个Topic被切分为多个Partitions

    ·消费者数目少于或等于Partition的数目

    ·Broker Group中每一个Broker保存Topic的一个或多个Partitions

    ·Consumer Group中的仅有一个Consumer读取Topic的一个或多个Partitions，并且是唯一的Consumer

 

Replication：

    ·当集群中有Broker挂掉的情况，系统可以主动使Replicas提供服务

    ·系统默认设置一个Topic的replication系数为1，可以在创建Topic时单独设置

 

 

Replication的特点

    ·Replication的基本单位是Topic的Partition

    ·所有的读和写都从Leader进，Followers值是作为备份

    ·Follower必须能够即使复制Leader的数据

    ·增加容错性与扩展性

 

Kafka消息结构

Kafaka面向数据流的生成转换消费的流处理平台

 

Kafaka基本概念

Producer：消息和数据的生产者，向Kafka的一个topic发布消息的进程/代码/服务

Consumer：消息和数据的消费者，订阅数据Topic并且处理其发布消息的进程/代码/服务

 

Consumer Group：逻辑概念，对于同一个topic，会广播给不同的group，一个group中，只有一个sonsumer可以消费该消息

 

 

Kafka基本概念

Broker：物理概念，Kafka集群中每个Kafka结点。

Topic：逻辑概念，Kafka消息类别，对数据进行分区、隔离

Partition：物理概念，Kafka下数据存储的基本单元。一个Topic数据，会分散存储到多个Partitoin，每一个Partition是有序的。

Replication：同一个Partition可能会有多个Replica，多个Replica之间的数据是一样的。

Replication Leader：一个Partition的多个Replica上，需要一个Leader负责该Partition上与Producer和Consumer交互。

ReplicaManager：负责管理当前broker所有分区和副本的信息，处理KafkaController发起的一些请求，副本状态的切换、添加/读取消息等。

 

 

Partition：

    ·每一个Topic被切分为多个Partitions

    ·消费者数目少于或等于Partition的数目

    ·Broker Group中每一个Broker保存Topic的一个或多个Partitions

    ·Consumer Group中的仅有一个Consumer读取Topic的一个或多个Partitions，并且是唯一的Consumer

 

Replication：

    ·当集群中有Broker挂掉的情况，系统可以主动使Replicas提供服务

    ·系统默认设置一个Topic的replication系数为1，可以在创建Topic时单独设置

 

 

Replication的特点

    ·Replication的基本单位是Topic的Partition

    ·所有的读和写都从Leader进，Followers值是作为备份

    ·Follower必须能够即使复制Leader的数据

    ·增加容错性与扩展性

 

Kafka消息结构

在kafka的文件中是存中是存中zookeeper的，如果不用搭建集群，是可以直接使用的。

解压后：

tar -zxvf kafka_2..12-2.0.0.tgz

先启动zookeeper

./zookeeper-server-start.sh ../config/zookeeper.properties

然后就可以直接启动

./kafa-server-start.sh ../config/server.properties

 

创建一个topic

./kafka-topic.sh --create --zookeeper localhost:2181 --replication-facotr 1 --partitions 3 --topic HelloWorld

topic查看命令

./kafka-topic.sh --create --zookeeper localhost:2181 --replication-facotr 1 --partitions 3 --topic HelloWorld

启动一个生产者生成东西

./kafka-console-producer.sh --broker-list localhost:9092 --topic HelloWorld

启动一个消费者消费东西

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic HelloWorld --from-beginning

下面是联合

生产者：

消费者：