a****y
发帖数: 102 | 1 各位大侠，
我理解kafka的producer是push log 到broker，如何能够保证producer不会
floodbroker？比如client有个bug，所有的user都不停的send log。理论上broker的处
理能力是有限的，即使使用system 的pagecache，如果无法处理实时送过来的log，是
否会有data loss，应该怎么避免呢？
多谢！ |
w**z
发帖数: 8232 | 2 如果是load 问题， 就scale, 加 broker, 这不是distributed system 的精髓？ 如
果是 client bug, 你应该有必要 的 monitoring and alerting, 在把系统搞当之前应
该就被alert 了。
【在 a****y 的大作中提到】
: 各位大侠，
: 我理解kafka的producer是push log 到broker，如何能够保证producer不会
: floodbroker？比如client有个bug，所有的user都不停的send log。理论上broker的处
: 理能力是有限的，即使使用system 的pagecache，如果无法处理实时送过来的log，是
: 否会有data loss，应该怎么避免呢？
: 多谢！
|
g*********e
发帖数: 14401 | 3 Have more partitions on your Kafka topic
Rate limit client and drop event |
N*****m
发帖数: 42603 | 4 0.9以后支持quota
【在 a****y 的大作中提到】
: 各位大侠，
: 我理解kafka的producer是push log 到broker，如何能够保证producer不会
: floodbroker？比如client有个bug，所有的user都不停的send log。理论上broker的处
: 理能力是有限的，即使使用system 的pagecache，如果无法处理实时送过来的log，是
: 否会有data loss，应该怎么避免呢？
: 多谢！
|
