由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - 请教怎么做End to End Performance Test
相关主题
Kafka consumer启动怎样不读之前的massagenosql有一个好处就是
这次python糗大了Cassandra Rewritten In C++, Ten Times Faster
big data怎么搞定商业报表?linux, find command question
oracle coherence简单的perl问题
redis, kafka一个没想明白的问题
弱问下,UBER后台用的是啥?Kernel Programming Question: timestamp and synchronization
祝贺peking2升级成Staff & Tech Lead (转载)10G文件的排序问题
HB已经完败C*了吧?how to count the times a function is used
相关话题的讨论汇总
话题: end话题: test话题: service话题: db
进入Programming版参与讨论
1 (共1页)
c********w
发帖数: 308
1
有个data ingestion service. 从一个source 拿来数据处理一下, publish到kafka,
然后另一个service 从kafka consume the data, 处理一下就写到一个 NoSql DB. 现
在要perf test 这个flow。怎么做最精确?之前想每个service 收到数据,put a
timestamp on msg, and process, and another timestamp before publishing to
downstream. 最后在DB里调出来每个MSG算个平均。但是每个service可以scale out.
数据都是可以并行处理的。这样算end to end不准确。。。倒是可以看出哪个service
是potential bottle neck. 有没有更精确简介的方法。
f******2
发帖数: 2455
2
你这个思路不对,应该从kafka系统提供的观察手段去思考这个问题,感觉这篇文章会
帮助你
https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-
writes-second-three-cheap-machines
“End-to-end Latency”似乎是你想要的metrics,感觉上说
q******n
发帖数: 66
3
你有具体要求吗? 例如单位时间内至少要处理多少数据? 还是仅仅找potential
bottle neck?
你可以分开测那两个service吗? 估计比End to End容易troubleshoot和分析。
c********w
发帖数: 308
4
有latency要求 end to end 5 micro. service分开倒是好测。就end to end 麻烦

【在 q******n 的大作中提到】
: 你有具体要求吗? 例如单位时间内至少要处理多少数据? 还是仅仅找potential
: bottle neck?
: 你可以分开测那两个service吗? 估计比End to End容易troubleshoot和分析。

c********w
发帖数: 308
5
多谢

【在 f******2 的大作中提到】
: 你这个思路不对,应该从kafka系统提供的观察手段去思考这个问题,感觉这篇文章会
: 帮助你
: https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-
: writes-second-three-cheap-machines
: “End-to-end Latency”似乎是你想要的metrics,感觉上说

1 (共1页)
进入Programming版参与讨论
相关主题
请问怎么记录tcp连接的时候从发出synack到收到ack的时间?redis, kafka
how to convert GMT to timestamp of the computer's current time弱问下,UBER后台用的是啥?
any lexer/parser enthusiasts here?祝贺peking2升级成Staff & Tech Lead (转载)
一个python script同时写一万多个文本文件HB已经完败C*了吧?
Kafka consumer启动怎样不读之前的massagenosql有一个好处就是
这次python糗大了Cassandra Rewritten In C++, Ten Times Faster
big data怎么搞定商业报表?linux, find command question
oracle coherence简单的perl问题
相关话题的讨论汇总
话题: end话题: test话题: service话题: db