阿里云消息队列Kafka版与开源Apache Kafka从稳定性、内核能力、治理能力等方面对比。
稳定性
| 项目 | 消息队列Kafka版 | Apache Kafka |
|---|---|---|
| 磁盘水位 | 磁盘写满删除旧数据。 | 磁盘写满直接宕机。 |
| 线程池隔离 | 读冷数据仍可以保证写入基本正常。 | 读冷数据直接导致线程堵塞，数据写入大量失败。 |
| 分区规模 | 万级分区仍然可以保证稳定写入。 | 千级分区就会出现大量抖动。 |
| 巡检系统 | 针对死锁、宕机等问题进行自动发现和修复。 | 无。 |
| Bug修复 | 及时发现并修复。 | 只能等社区缓慢修复，且通常要等新版发布，周期长。 |
内核能力
| 项目 | 消息队列Kafka版 | Apache Kafka |
|---|---|---|
| 弹性能力 | 秒级弹缩，业务几乎无感知。 | 小时级弹缩，期间会因为复制流量加大，对集群造成影响。 |
| 存储成本 | 专业版提供高可靠云存储，节省大量存储空间。 | 出于可用性和可靠性考虑，业界通常都是3副本存储，存储压力大。 |
治理能力
| 项目 | 消息队列Kafka版 | Apache Kafka |
|---|---|---|
| 版本升级 | 一键自助升级。 | 手工操作易出错。 |
| Metrics曲线 | 能看到完整Metrics曲线，追踪流量、排查问题必备。 | 只能看到实时Metrics，历史数据较难查看。 |
| 堆积告警 | 告警及时发现问题。 | 无。 |
| 订阅关系 | 完整的订阅关系。 | 比较简略。 |
| 分区状态 | 可以看到完整的状态图。 | 比较简略。 |
| 发送消息 | 控制台直接发送消息。 | 只能命令行操作，成本高。 |
| 查询消息 | 控制台根据时间或者位点直接查看消息。 | 命令行可以消费，但无法根据位点或者时间直接定位到具体的消息。 |
开箱即用
消息队列Kafka版100%兼容开源，使您无缝迁移上云。
- 兼容开源：消息队列Kafka版100%兼容开源Apache Kafka，您可以直接使用开源Apache Kafka客户端与消息队列Kafka版通讯。消息队列Kafka版目前已经支持0.9.0~2.x的开源版本，后续将支持更高版本，敬请期待。
- 无缝迁移：消息队列Kafka版基于现有的开源Apache Kafka生态，您无需任何代码改造，即可迁移上云。
全托管服务
消息队列Kafka版拥有专业且经验丰富的运维团队，以及成熟的运维体系。
- HouseKeeping（健康巡检组件）：用于消息队列Kafka版核心链路的运行时巡检，每分钟会对集群做一次全面扫描诊断，并能针对不健康的状态进行告警。同时，每天还会出具整体巡检报告，方便运维人员监控消息队列Kafka版系统的健康状态。
- 业务监控与告警：每个Consumer Group都可以针对消息的堆积量情况设置监控与告警，帮助您及时发现问题。
- OpenAPI：消息队列Kafka版为您提供了一整套完备的管控类OpenAPI，用于实现一系列的资源管理和运维功能。
高可用性
阿里云消息产品的研发与性能优化团队，进一步优化了开源产品长期以来的痛点，为您提供更优质的服务。
- 数据持久化：专业团队保障更高可用性，消息持久化落盘到消息队列，数据可靠性高，服务可用性高。
- 高吞吐能力：在海量消息堆积的情况下，始终能保持消息队列Kafka版集群的高吞吐能力。
- 数万级Topic：支持数万级Topic高并发读写，始终保持消息队列Kafka版集群的高吞吐能力。
数据安全
消息队列Kafka版提供鉴权与授权机制、主子账号等功能，提供企业级的安全防护。
- 主子账号：全面支持阿里云RAM主子账号、黑白名单、STS等功能，实现主子账号以及企业间跨账号的授权服务。
- 访问安全：基于阿里云账号体系，利用SASL机制对用户身份进行认证，并利用SSL对通道进行加密传输，确保数据在传输过程中不被窃取或篡改，保证您的数据安全。
- 阿里云VPC：除公网访问方式外，消息队列Kafka版还支持专有网络VPC。您可以完全掌控自己的专有网络，例如选择IP地址范围、配置路由表和网关等，您可以在自己定义的专有网络中使用阿里云资源如云服务器、云数据库RDS版和负载均衡等。
弹性计算
您可以根据自身业务规模按需扩容，上层业务无感知。
- 集群扩容：Broker可跨可用区（跨机房）横向扩容。
- 分区（Partition）扩容：支持数万级Topic、无限队列的快速扩容。
消息队列Kafka版系统架构
如图 1所示，一个消息队列Kafka版集群包括Producer、Kafka Broker、Consumer Group、ZooKeeper。
- Producer
- 通过push模式向消息队列Kafka版的Kafka Broker发送消息。发送的消息可以是网站的页面访问、服务器日志，也可以是CPU和内存相关的系统资源信息。
- Kafka Broker
- 用于存储消息的服务器。Kafka Broker支持水平扩展。Kafka Broker节点的数量越多，Kafka集群的吞吐率越高。
- Consumer Group
- 通过pull模式从消息队列Kafka版Broker订阅并消费消息。
- Zookeeper
- 管理集群的配置、选举leader分区，并且在Consumer Group发生变化时，进行负载均衡。
消息队列Kafka版的发布/订阅模型
如图 2所示，消息队列Kafka版采用发布/订阅模型。
- Consumer Group和Topic的对应关系是N : N，即一个Consumer Group可以同时订阅多个Topic，一个Topic也可以被多个Consumer Group同时订阅。
- 虽然一个Topic可以被多个Consumer Group同时订阅，但该Topic的消息只能被同一个Consumer Group内的任意一个Consumer消费。
规格类型
消息队列Kafka版的规格类型如下：
| 项目 | 标准版（高写版） | 专业版（高写版） | 专业版（高读版） |
|---|---|---|---|
| 版本 | 仅支持0.10.x。 |
|
|
| 流量规格读写比 | 1:1 | 1:1 | 5:1 |
| 实例类型 | 虚拟实例（部分共享）。 | 专享实例。 | 专享实例。 |
| 消息存储时间 | 最多7天。 | 支持根据业务场景定制。 | 支持根据业务场景定制。 |
| 容灾 | 单可用区部署。 | 支持多可用区部署。 | 支持多可用区部署。 |
| 性能调优 | 不支持。 | 支持根据业务场景定制。 | 支持根据业务场景定制。 |
| 跨地域消息路由 | 不支持。 | 不支持。 | 不支持。 |
| Topic | 可用Topic数为购买Topic数。 | 可用Topic数为购买Topic数的两倍。 | 可用Topic数为购买Topic数的两倍。 |
| 存储成本 | 分布式3副本机制。
如果您的需求为900 GB数据容量，请购买2700 GB磁盘容量。 |
分布式3副本机制。
|
分布式3副本机制。
|
技术咨询或购买请联系【云技术在线】享受更多优惠！