搞定这8个Kafka生产级容量评估,每日10亿 请求轻松拿捏!

搞定这8个Kafka生产级容量评估,每日10亿 请求轻松拿捏!插图亿华云

一、kafka容量评估需求场景分析

1、集群如何每天hold住10亿 请求

拿电商平台为例,kafka 集群每天需要承载10亿 请求流量数据,一天24小时,对于平台来说,晚上12点到凌晨8点这8个小时几乎没多少数据涌入的。这里我们使用「二八法则」来进行预估,也就是80%的数据(8亿)会在剩余的16个小时涌入,且8亿中的80%的数据(约6.4亿)会在这16个小时的20%时间 (约3小时)涌入。

通过上面的场景分析,可以得出如下:

QPS计算公式 = 640000000 ÷ (3 * 60 * 60) = 6万,也就是说高峰期集群需要扛住每秒6万的并发请求。

假设每条数据平均按20kb(生产端有数据汇总)来算, 那就是

THE END
Copyright © 2024 亿华云