阿里云消息队列Kafka版与开源Apache Kafka从稳定性、内核能力、治理能力等方面对比。如有需求,请联系云慧采获得价格优惠。
稳定性
项目 | 消息队列Kafka版 | Apache Kafka |
---|---|---|
磁盘水位 | 磁盘写满删除旧数据。 | 磁盘写满直接宕机。 |
线程池隔离 | 读冷数据仍可以保证写入基本正常。 | 读冷数据直接导致线程堵塞,数据写入大量失败。 |
分区规模 | 万级分区仍然可以保证稳定写入。 | 千级分区就会出现大量抖动。 |
巡检系统 | 针对死锁、宕机等问题进行自动发现和修复。 | 无。 |
Bug修复 | 及时发现并修复。 | 只能等社区缓慢修复,且通常要等新版发布,周期长。 |
内核能力
项目 | 消息队列Kafka版 | Apache Kafka |
---|---|---|
弹性能力 | 秒级弹缩,业务几乎无感知。 | 小时级弹缩,期间会因为复制流量加大,对集群造成影响。 |
存储成本 | 专业版提供高可靠云存储,节省大量存储空间。 | 出于可用性和可靠性考虑,业界通常都是3副本存储,存储压力大。 |
治理能力
项目 | 消息队列Kafka版 | Apache Kafka |
---|---|---|
版本升级 | 一键自助升级。 | 手工操作易出错。 |
Metrics曲线 | 能看到完整Metrics曲线,追踪流量、排查问题必备。 | 只能看到实时Metrics,历史数据较难查看。 |
堆积告警 | 告警及时发现问题。 | 无。 |
订阅关系 | 完整的订阅关系。 | 比较简略。 |
分区状态 | 可以看到完整的状态图。 | 比较简略。 |
发送消息 | 控制台直接发送消息。 | 只能命令行操作,成本高。 |
查询消息 | 控制台根据时间或者位点直接查看消息。 | 命令行可以消费,但无法根据位点或者时间直接定位到具体的消息。 |
开箱即用
消息队列Kafka版100%兼容开源,使您无缝迁移上云。
- 兼容开源:消息队列Kafka版100%兼容开源Apache Kafka,您可以直接使用开源Apache Kafka客户端与消息队列Kafka版通讯。消息队列Kafka版目前已经支持0.9.0~2.x的开源版本,后续将支持更高版本,敬请期待。
- 无缝迁移:消息队列Kafka版基于现有的开源Apache Kafka生态,您无需任何代码改造,即可迁移上云。
全托管服务
消息队列Kafka版拥有专业且经验丰富的运维团队,以及成熟的运维体系。
- HouseKeeping(健康巡检组件):用于消息队列Kafka版核心链路的运行时巡检,每分钟会对集群做一次全面扫描诊断,并能针对不健康的状态进行告警。同时,每天还会出具整体巡检报告,方便运维人员监控消息队列Kafka版系统的健康状态。
- 业务监控与告警:每个Consumer Group都可以针对消息的堆积量情况设置监控与告警,帮助您及时发现问题。
- OpenAPI:消息队列Kafka版为您提供了一整套完备的管控类OpenAPI,用于实现一系列的资源管理和运维功能。
高可用性
阿里云消息产品的研发与性能优化团队,进一步优化了开源产品长期以来的痛点,为您提供更优质的服务。
- 数据持久化:专业团队保障更高可用性,消息持久化落盘到消息队列,数据可靠性高,服务可用性高。
- 高吞吐能力:在海量消息堆积的情况下,始终能保持消息队列Kafka版集群的高吞吐能力。
- 数万级Topic:支持数万级Topic高并发读写,始终保持消息队列Kafka版集群的高吞吐能力。
数据安全
消息队列Kafka版提供鉴权与授权机制、主子账号等功能,提供企业级的安全防护。
- 主子账号:全面支持阿里云RAM主子账号、黑白名单、STS等功能,实现主子账号以及企业间跨账号的授权服务。
- 访问安全:基于阿里云账号体系,利用SASL机制对用户身份进行认证,并利用SSL对通道进行加密传输,确保数据在传输过程中不被窃取或篡改,保证您的数据安全。
- 阿里云VPC:除公网访问方式外,消息队列Kafka版还支持专有网络VPC。您可以完全掌控自己的专有网络,例如选择IP地址范围、配置路由表和网关等,您可以在自己定义的专有网络中使用阿里云资源如云服务器、云数据库RDS版和负载均衡等。
弹性计算
您可以根据自身业务规模按需扩容,上层业务无感知。
- 集群扩容:Broker可跨可用区(跨机房)横向扩容。
- 分区(Partition)扩容:支持数万级Topic、无限队列的快速扩容。
消息队列Kafka版系统架构
如图 1所示,一个消息队列Kafka版集群包括Producer、Kafka Broker、Consumer Group、ZooKeeper。

- Producer
- 通过push模式向消息队列Kafka版的Kafka Broker发送消息。发送的消息可以是网站的页面访问、服务器日志,也可以是CPU和内存相关的系统资源信息。
- Kafka Broker
- 用于存储消息的服务器。Kafka Broker支持水平扩展。Kafka Broker节点的数量越多,Kafka集群的吞吐率越高。
- Consumer Group
- 通过pull模式从消息队列Kafka版Broker订阅并消费消息。
- Zookeeper
- 管理集群的配置、选举leader分区,并且在Consumer Group发生变化时,进行负载均衡。
消息队列Kafka版的发布/订阅模型
如图 2所示,消息队列Kafka版采用发布/订阅模型。

- Consumer Group和Topic的对应关系是N : N,即一个Consumer Group可以同时订阅多个Topic,一个Topic也可以被多个Consumer Group同时订阅。
- 虽然一个Topic可以被多个Consumer Group同时订阅,但该Topic的消息只能被同一个Consumer Group内的任意一个Consumer消费。
规格类型
消息队列Kafka版的规格类型如下:
项目 | 标准版(高写版) | 专业版(高写版) | 专业版(高读版) |
---|---|---|---|
版本 | 仅支持0.10.x。 |
|
|
流量规格读写比 | 1:1 | 1:1 | 5:1 |
实例类型 | 虚拟实例(部分共享)。 | 专享实例。 | 专享实例。 |
消息存储时间 | 最多7天。 | 支持根据业务场景定制。 | 支持根据业务场景定制。 |
容灾 | 单可用区部署。 | 支持多可用区部署。 | 支持多可用区部署。 |
性能调优 | 不支持。 | 支持根据业务场景定制。 | 支持根据业务场景定制。 |
跨地域消息路由 | 不支持。 | 不支持。 | 不支持。 |
Topic | 可用Topic数为购买Topic数。 | 可用Topic数为购买Topic数的两倍。 | 可用Topic数为购买Topic数的两倍。 |
存储成本 | 分布式3副本机制。
如果您的需求为900 GB数据容量,请购买2700 GB磁盘容量。 |
分布式3副本机制。
|
分布式3副本机制。
|
技术咨询或购买请联系【云技术在线】享受更多优惠!