k****r
发帖数: 807 | 1 这里大侠多，有个Kafka的问题请教一下：
我现在用python的kafka api实现一个consumer，可是每次启动consumer都会读到之前
所以的msgs。。。
请问Kafka怎样可以不去读之前的东西，只读到启动之后producer发出的msg呢？
谢谢， |
w**z
发帖数: 8232 | 2 it is based on the offset, not timestamp.
【在 k****r 的大作中提到】
: 这里大侠多，有个Kafka的问题请教一下：
: 我现在用python的kafka api实现一个consumer，可是每次启动consumer都会读到之前
: 所以的msgs。。。
: 请问Kafka怎样可以不去读之前的东西，只读到启动之后producer发出的msg呢？
: 谢谢，
|
k****r
发帖数: 807 | 3 offset怎么控制呢？
【在 w**z 的大作中提到】
: it is based on the offset, not timestamp.
|
N*****m
发帖数: 42603 | 4 consumer group id
【在 k****r 的大作中提到】
: 这里大侠多，有个Kafka的问题请教一下：
: 我现在用python的kafka api实现一个consumer，可是每次启动consumer都会读到之前
: 所以的msgs。。。
: 请问Kafka怎样可以不去读之前的东西，只读到启动之后producer发出的msg呢？
: 谢谢，
|
k****i
发帖数: 128 | 5 你这是simple consumer还是high level的？前者你可以自己控制offset，后者在
zookeeper里 |
w**z
发帖数: 8232 | |
f*******t
发帖数: 7549 | 7 好像可以checkpoint吧，把读过的offset放到zookeeper之类的kv store里 |
g*********e
发帖数: 14401 | 8 你需要修改checkpoint的文件里的offset
【在 k****r 的大作中提到】
: 这里大侠多，有个Kafka的问题请教一下：
: 我现在用python的kafka api实现一个consumer，可是每次启动consumer都会读到之前
: 所以的msgs。。。
: 请问Kafka怎样可以不去读之前的东西，只读到启动之后producer发出的msg呢？
: 谢谢，
|
k****r
发帖数: 807 | 9 thanks for your solutions.
I finally use group ID of high level consumer and set the autocommit as True
. Then, the problem is solved. |
N*****m
发帖数: 42603 | 10 你也不给我发个包子
True
【在 k****r 的大作中提到】
: thanks for your solutions.
: I finally use group ID of high level consumer and set the autocommit as True
: . Then, the problem is solved.
|
k****r
发帖数: 807 | 11 请查收。
【在 N*****m 的大作中提到】
: 你也不给我发个包子
:
: True
|
