2019-10-20 03:14:44 共2206人围观 0个不明物体

Kafka是一个分布式的、分区的、复制的提交日志服务。Kafka 使用提交日志作为最终的存储格式。从之前的文章描述，我们可以了解到，在 Broker 端同一个 Topic 可以存储在不同的分区上面。每...

2019-09-07 21:22:46 共3450人围观 0个不明物体

前面我们讲到Consumer加入组的流程，主要包括了JoinGroup 和 SyncGroup 两个步骤。其中在JoinGroup 之后会选出 Consumer Group 的Leader 用于组内订...

2019-09-05 05:54:22 共2925人围观 0个不明物体

说位移提交之前，我们首先简单的回顾一下位移和消费者位移之间的区别。我们通常所说的位移是指 TopicPartition 在 Broker 端的存储偏移量。而消费者位移是指某个消费者组在不同 Topic...

2019-09-04 00:45:42 共5213人围观 0个不明物体

接上篇：《Kafka消费者加入group流程（上）》发送加入组请求（Rebalance流程）消费者首次加入group也可以认为是Rebalance的一种，其中包含了两类请求：JoinGroup 和 S...

2019-09-02 07:36:31 共5640人围观 0个不明物体

前面我们讲到了消费者端的网络模型，但是对于Kafka而言，在接收消息之前，消费者是必须要加入 group的。一个消费者 group 由一个或者多个消费者组成，原则上每个消费者都需要有一个 groupI...

2019-08-17 04:10:02 共3182人围观 0个不明物体

前面我们介绍了Kafka 生产者客户端的相关原理和网络模型，对于客户端消费者的网络模型，其实现要比生产者的设计还要复杂一些。今天我们主要讲述一下KafkaConsumer 网络模型的主要设计。消息消费...

2019-08-09 22:08:07 共2305人围观 0个不明物体

在前面两篇文章中，我们讲述了Reactor网络模型的基本概念。那么Kafka客户端（包含生产者和消费者）的网络模型就是基于Reactor模式的。首先我们来看一下KafkaProducer网络模型中的几...

2019-07-27 11:24:32 共3062人围观 0个不明物体

接上篇《Kafka网络模型基础-Reactor（上）》Reactor Java NIO 的实现从Java 1.4 开始，提供了NIO（非阻塞IO）。NIO 提供了 SocketChannel 和 Se...

2019-07-16 09:30:38 共2672人围观 0个不明物体

上一篇我们介绍了 Kafka 生产者的消息管理模型，对于消息的管理，可以理解为 Kafka 生产者组装消息内容，准备批量发送到 Broker 端，这是一个 Ready 的过程。那么在我们介绍Kafka...

2019-07-06 03:00:19 共2233人围观 0个不明物体

对于一条消息而言，首先需要在生产者生产出来，然后发送给Broker存储，最终由消费者拉取处理。对于Kafka的生产者端的代码，有新旧两个版本。新客户端采用Java编写，源码在 client 目录下面；...