c********w 发帖数: 308 | 1 有个data ingestion service. 从一个source 拿来数据处理一下, publish到kafka,
然后另一个service 从kafka consume the data, 处理一下就写到一个 NoSql DB. 现
在要perf test 这个flow。怎么做最精确?之前想每个service 收到数据,put a
timestamp on msg, and process, and another timestamp before publishing to
downstream. 最后在DB里调出来每个MSG算个平均。但是每个service可以scale out.
数据都是可以并行处理的。这样算end to end不准确。。。倒是可以看出哪个service
是potential bottle neck. 有没有更精确简介的方法。 |
f******2 发帖数: 2455 | 2 你这个思路不对,应该从kafka系统提供的观察手段去思考这个问题,感觉这篇文章会
帮助你
https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-
writes-second-three-cheap-machines
“End-to-end Latency”似乎是你想要的metrics,感觉上说 |
q******n 发帖数: 66 | 3 你有具体要求吗? 例如单位时间内至少要处理多少数据? 还是仅仅找potential
bottle neck?
你可以分开测那两个service吗? 估计比End to End容易troubleshoot和分析。 |
c********w 发帖数: 308 | 4 有latency要求 end to end 5 micro. service分开倒是好测。就end to end 麻烦
【在 q******n 的大作中提到】 : 你有具体要求吗? 例如单位时间内至少要处理多少数据? 还是仅仅找potential : bottle neck? : 你可以分开测那两个service吗? 估计比End to End容易troubleshoot和分析。
|
c********w 发帖数: 308 | 5 多谢
【在 f******2 的大作中提到】 : 你这个思路不对,应该从kafka系统提供的观察手段去思考这个问题,感觉这篇文章会 : 帮助你 : https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million- : writes-second-three-cheap-machines : “End-to-end Latency”似乎是你想要的metrics,感觉上说
|