由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
JobHunting版 - zhaoce大牛说说HornetQ vs kafka怎么样?
相关主题
这个周末wwzz和zhaoce大牛来谈谈kafka吧?linkedin backend组面试问kafka, zookeeper一般都问到什么地步,问哪些问题?谢谢了
请教下目前这些东东面试时更高可能被问到面试会问storm, zookeeper, hadoop, kafka这些高端货么?
湾区Network Virtualization/SDN startup诚招Python Developers, QA Lead现在start up 铺天盖地
急需Sr Software Engineer - Boston 内推一点骑驴找马经验
【工作机会】Cloud architect at NSFOCUS, Santa Clara, CA请帮忙看一下简历
看一条L的面试题G的广告组是做什么的?
麻省 有可以内推的吗? Big Data, Java, Hadoop一个流行的design问题
Full time: Java Developer (转载)有没有人讨论下leetcode用了什么技术,可以有哪些改进?
相关话题的讨论汇总
话题: kafka话题: hornetq话题: consumer话题: 大牛话题: message
进入JobHunting版参与讨论
1 (共1页)
p*****2
发帖数: 21240
1
这些message queue主要流行的都有哪些呀?都什么特点?
z****e
发帖数: 54598
2
不知道,我对mq没有太多经验
p*****2
发帖数: 21240
3

那你们backend都是service吗?

【在 z****e 的大作中提到】
: 不知道,我对mq没有太多经验
z****e
发帖数: 54598
4
messaging部分用jms

【在 p*****2 的大作中提到】
:
: 那你们backend都是service吗?

p*****2
发帖数: 21240
5

一般来说怎么考虑用service还是mq?

【在 z****e 的大作中提到】
: messaging部分用jms
s*****r
发帖数: 43070
6
卡夫卡不是message queue,应该算tracking system
p*****2
发帖数: 21240
7

大牛在L工作对kafka理解的也这么偏呀?

【在 s*****r 的大作中提到】
: 卡夫卡不是message queue,应该算tracking system
w**z
发帖数: 8232
8
我们准备上Kafka当message queue 用,难道不是?

【在 s*****r 的大作中提到】
: 卡夫卡不是message queue,应该算tracking system
z****e
发帖数: 54598
9
其实都是service
如果你只是用来传递message的话
随便上哪个都好,这个我觉得wwzz的很多经验可以直接参考
它不是正在用这些么?

【在 p*****2 的大作中提到】
:
: 大牛在L工作对kafka理解的也这么偏呀?

p*****2
发帖数: 21240
10

大牛说说message queue最流行的都有哪些,有分类吗?各有什么特点呢?

【在 w**z 的大作中提到】
: 我们准备上Kafka当message queue 用,难道不是?
相关主题
看一条L的面试题linkedin backend组面试问kafka, zookeeper一般都问到什么地步,问哪些问题?谢谢了
麻省 有可以内推的吗? Big Data, Java, Hadoop面试会问storm, zookeeper, hadoop, kafka这些高端货么?
Full time: Java Developer (转载)现在start up 铺天盖地
进入JobHunting版参与讨论
s*****r
发帖数: 43070
11
当然可以,不过设计理念确实不是mq,个人感觉latency过大

【在 w**z 的大作中提到】
: 我们准备上Kafka当message queue 用,难道不是?
p*****2
发帖数: 21240
12

latency大概什么情况呀?是因为什么造成的呢?

【在 s*****r 的大作中提到】
: 当然可以,不过设计理念确实不是mq,个人感觉latency过大
z****e
发帖数: 54598
13
说说你用kafka做了什么功能?

【在 s*****r 的大作中提到】
: 卡夫卡不是message queue,应该算tracking system
s*****r
发帖数: 43070
14
里面有很多buffer,适合复杂大型系统tracking,数据量很大的那种。想搞成MQ,估计
要把各种buffer去了

【在 p*****2 的大作中提到】
:
: latency大概什么情况呀?是因为什么造成的呢?

w**z
发帖数: 8232
15
activemq, rabbitmq, zeromq, 我们用rabbitmq, 量大有问题。性能下降很快。Kafka
has much big throughput .

【在 p*****2 的大作中提到】
:
: latency大概什么情况呀?是因为什么造成的呢?

p*****2
发帖数: 21240
16

Kafka
多谢大牛。有时间好好看看kafka。你scala代码看的如何了?

【在 w**z 的大作中提到】
: activemq, rabbitmq, zeromq, 我们用rabbitmq, 量大有问题。性能下降很快。Kafka
: has much big throughput .

w**z
发帖数: 8232
17
我们用mq, 完全是 async, non mission ctitical, latency 不是 issue,只要
reliable 就行。

【在 s*****r 的大作中提到】
: 里面有很多buffer,适合复杂大型系统tracking,数据量很大的那种。想搞成MQ,估计
: 要把各种buffer去了

w**z
发帖数: 8232
18
Rabbit has to remember each message state, so big overhead. Kafka writes to
disk, zookeeper keeps track of offset of each consumer. 花了两天时间搞了下
scala, 感觉是用Scala写Java, 对 FP 没感觉。

【在 p*****2 的大作中提到】
:
: Kafka
: 多谢大牛。有时间好好看看kafka。你scala代码看的如何了?

s*****r
发帖数: 43070
19
他的优势就是数据量大和可靠性,牺牲了一些速度

【在 w**z 的大作中提到】
: 我们用mq, 完全是 async, non mission ctitical, latency 不是 issue,只要
: reliable 就行。

p*****2
发帖数: 21240
20

to
kafka就是通过consumer id来纪录的是吧?如果两个程序用同样的id,是不是就各得一
半得数据了呢?
kafka等所有得consumer都得到event就清除吗?如果有consumer长期不得event怎么办
?有个timeout把consumer exclude吗?

【在 w**z 的大作中提到】
: Rabbit has to remember each message state, so big overhead. Kafka writes to
: disk, zookeeper keeps track of offset of each consumer. 花了两天时间搞了下
: scala, 感觉是用Scala写Java, 对 FP 没感觉。

相关主题
一点骑驴找马经验一个流行的design问题
请帮忙看一下简历有没有人讨论下leetcode用了什么技术,可以有哪些改进?
G的广告组是做什么的?求问fb家的一道system design面经题 design a photo sharing app
进入JobHunting版参与讨论
w**z
发帖数: 8232
21
consumer group offset is in zookeeper, each consumer group can have multiple
consumers.
msgs are persisted for a configurable period of time.

【在 p*****2 的大作中提到】
:
: to
: kafka就是通过consumer id来纪录的是吧?如果两个程序用同样的id,是不是就各得一
: 半得数据了呢?
: kafka等所有得consumer都得到event就清除吗?如果有consumer长期不得event怎么办
: ?有个timeout把consumer exclude吗?

p*****2
发帖数: 21240
22

multiple
多谢大牛

【在 w**z 的大作中提到】
: consumer group offset is in zookeeper, each consumer group can have multiple
: consumers.
: msgs are persisted for a configurable period of time.

l*****t
发帖数: 2019
23
same here

Kafka

【在 w**z 的大作中提到】
: activemq, rabbitmq, zeromq, 我们用rabbitmq, 量大有问题。性能下降很快。Kafka
: has much big throughput .

l*****t
发帖数: 2019
24
你不是搞kafka几个月了么?怎么还没懂。去subscribe kafka user group 吧。想问啥
问啥。Jun, Jay, Neha都在。

【在 p*****2 的大作中提到】
:
: multiple
: 多谢大牛

b**m
发帖数: 1466
25
没用过kafka,但hornetq得dev team 非常defensive。
有些明显的但难以重现的bug他们都是直接close了事。
p*****2
发帖数: 21240
26

看大牛说的。几个月之前我还在用C呢。

【在 l*****t 的大作中提到】
: 你不是搞kafka几个月了么?怎么还没懂。去subscribe kafka user group 吧。想问啥
: 问啥。Jun, Jay, Neha都在。

p*****2
发帖数: 21240
27

多谢。那hornetq主要有什么优点呢?

【在 b**m 的大作中提到】
: 没用过kafka,但hornetq得dev team 非常defensive。
: 有些明显的但难以重现的bug他们都是直接close了事。

1 (共1页)
进入JobHunting版参与讨论
相关主题
有没有人讨论下leetcode用了什么技术,可以有哪些改进?【工作机会】Cloud architect at NSFOCUS, Santa Clara, CA
求问fb家的一道system design面经题 design a photo sharing app看一条L的面试题
interview design question: how to design a high through put queue system麻省 有可以内推的吗? Big Data, Java, Hadoop
贡献个系统设计题兼讨论Full time: Java Developer (转载)
这个周末wwzz和zhaoce大牛来谈谈kafka吧?linkedin backend组面试问kafka, zookeeper一般都问到什么地步,问哪些问题?谢谢了
请教下目前这些东东面试时更高可能被问到面试会问storm, zookeeper, hadoop, kafka这些高端货么?
湾区Network Virtualization/SDN startup诚招Python Developers, QA Lead现在start up 铺天盖地
急需Sr Software Engineer - Boston 内推一点骑驴找马经验
相关话题的讨论汇总
话题: kafka话题: hornetq话题: consumer话题: 大牛话题: message