图解kakfa架构原理

哥]Kafka 系列文章的第二篇，码哥将从原理、实践和源码角度为大家深入剖析并实践 Kafka。此系列包括[原理篇]、[实践篇]和[源码篇]。这篇是[原理篇]的第二篇，主要讲解 Kafka 的架构和实现原理。

读者可以回顾之前的文章《Kafka 性能篇：为何 Kafka 这么"快"?》。

今天我们来深入讲解 Kafka 的架构和实现原理。[码哥]将从架构和细节入手，以生动的图深入讲解 Kafka 的实现原理。

我想很多同学之前可能已经看过很多 Kafka 原理相关的文章，但往往看时"牛逼"声连连，激情满满，总觉得自己又学习到了各种“吊炸天”的技术。但很多同学往往是不觉明厉，把文章结合面试题背一背还能应付一下半吊子面试官。可以遇到老司机面试官，或是进入实战，却对很多概念和实现摸棱两可。

所以，[码哥]决定图解 Kakfa，却让很多半懂不懂的同学可以加深对 Kafka 实现原理的理解。

同时建议读者同学结合 Kafka 的配置去了解 Kafka 的实现原理，Kafka 有大量的配置，这也是 Kafka 高度扩展的一个表现，很多同学对 Kafka 的配置也不敢轻易改动。所以理解这些配置背后的实现原理，可以让我们在实践中懂得如何使用和优化 Kafka。既可面试造火箭，也可以实战造火箭。太多，怕步子迈太大扯着蛋，[码哥]决定将文章分成三篇。此文只会涉及上面图中"橙色"的部分。

从本文你将学习到：

• Kafka 架构设计哲学和原理
• Kafka 中 zookeeper 的作用
• Kafka Controller 实现原理
• Kafka Network 原理

开篇寄语

尽可能做一些产品出来，有一个作品很重要，这是别人了解你的窗口。如果可能，给自己开一个公众号或者一个博客，记录自己每天的见闻思考。刚开始记会很凌乱没有逻辑，但坚持下去一定会有很大价值。

Architecture

理解 Kafka 架构，就是理解 Kafka 的各种组件的概念，以及这些组件的关系。先简单看一下各组件及其简单说明。

不要去尝试记忆他们

Producer： 生产者，发送消息的一方。生产者负责创建消息，然后将其发送到 Kafka。

Consumer： 消费者，接受消息的一方。消费者连接到 Kafka 上并接收消息，进而进行相应的业务逻辑处理。

Consumer Group： 一个消费者组可以包含一个或多个消费者。使用多分区 + 多消费者方式可以极大提高数据下游的处理速度，同一消费组中的消费者不会重复消费消息，同样的，不同消费组中的消费者消息消息时互不影响。Kafka 就是通过消费组的方式来实现消息 P2P 模式和广播模式。

Broker： 服务代理节点。Broker 是 Kafka 的服务节点，即 Kafka 的服务器。

Topic： Kafka 中的消息以 Topic 为单位进行划分，生产者将消息发送到特定的 Topic，而消费者负责订阅 Topic 的消息并进行消费。

Partition： Topic 是一个逻辑的概念，它可以细分为多个分区，每个分区只属于单个主题。同一个主题下不同分区包含的消息是不同的，分区在存储层面可以看作一个可追加的日志(Log)文件，消息在被追加到分区日志文件的时候都会分配一个特定的偏移量(offset)。

Offset： offset 是消息在分区中的唯一标识，Kafka 通过它来保证消息在分区内的顺序性，不过 offset 并不跨越分区，也就是说，Kafka 保证的是分区有序性而不是主题有序性。

Replication： 副本，是 Kafka 保证数据高可用的方式，Kafka 同一 Partition 的数据可以在多 Broker 上存在多个副本，通常只有主副本对外提供读写服务，当主副本所在 broker 崩溃或发生网络异常，Kafka 会在 Controller 的管理下会重新选择新的 Leader 副本对外提供读写服务。

（编辑：东莞站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!