由买买提看人间百态

topics

全部话题 - 话题: kafka
1 2 3 4 5 6 7 8 9 10 下页 末页 (共10页)
d****n
发帖数: 12461
1
来自主题: Programming版 - 看了一点kafka
不知道你学习到啥阶段了,是0.9还是0.10还是0.11阶段。你说的performance好像0.8
就达到了,但是现在的kafka已经不是以前的kafka了。
0.9和之前的kafka,就是个distributed mq;
0.10加入了kafka stream和ktable;
0.11要加入transaction。
其实都是在走rdbms的老路。某一天像spark和storm一样搞出kql我也觉得不奇怪。
1.0准备搞exactly once semantics。
b**********h
发帖数: 419
2
来自主题: Programming版 - 看了一点kafka
我只学了mq,算是0.9


: 不知道你学习到啥阶段了,是0.9还是0.10还是0.11阶段。你说的performance好
像0.8

: 就达到了,但是现在的kafka已经不是以前的kafka了。

: 0.9和之前的kafka,就是个distributed mq;

: 0.10加入了kafka stream和ktable;

: 0.11要加入transaction。

: 其实都是在走rdbms的老路。某一天像spark和storm一样搞出kql我也觉得不奇怪。

: 1.0准备搞exactly once semantics。

c******o
发帖数: 1277
3
看看kafka的source code, 哪儿像scala?
https://github.com/apache/kafka/blob/0.8.2/core/src/main/scala/kafka/api/
ApiUtils.scala
def readShortString(buffer: ByteBuffer): String = {
val size: Int = buffer.getShort()
if(size < 0)
return null
val bytes = new Array[Byte](size)
buffer.get(bytes)
new String(bytes, ProtocolEncoding)
}
def writeShortString(buffer: ByteBuffer, string: String) {
if(string == null) {
buffer.putShort(-1)
} else {
val encodedString ... 阅读全帖
k****r
发帖数: 807
4
这里大侠多,有个Kafka的问题请教一下:
我现在用python的kafka api实现一个consumer,可是每次启动consumer都会读到之前
所以的msgs。。。
请问Kafka怎样可以不去读之前的东西,只读到启动之后producer发出的msg呢?
谢谢,
m***h
发帖数: 77
5
来自主题: Programming版 - 关于Kafka,一个log数据处理的问题
我有这么一个问题拿不定主意。
在一个team/group/organization里sell这个big data最好的方式就是在不动
production或用最小的cost的前提下提供现系统不能提供的feature。譬如,我们一个
大app,一堆API,一堆server,每个API都写很多(大部分是垃圾)到本地的log files
。可以想象一个login API,当一个user login后,一个thread会产生如下的log (实
际的log各种花样没这么简单)
[2015-10-11 02:00:00] TP-123 com.xyz.api.login INFO BEGIN
[2015-10-111 02:00:00] TP-123 com.xyz.api.login INFO user abcd is in
[2015-10-11 02:00:00] TP-123 com.xyz.api.login INFO use is from IP 1.2.3
.4
[2015-10-11 02:00:00] TP-123 com.xyz.api.login INFO user has ... 阅读全帖
d*******r
发帖数: 3299
6
来自主题: Programming版 - kafka vs fluentd
fluentd 是 log parser and collector
kafka 是 big message queue
比如, 你把 fluentd 安装在你要搜集 log 的 server 机器上.
每个 fluentd 搜集的 log 可以一股脑扔到 kafka 里面.
kafka 扛住大流量后,再扔到各种下游的 service, 比如 elasticsearch.
Y**G
发帖数: 1089
7
来自主题: Programming版 - kafka streaming的问题
发现kafka_python的包不支持streaming功能。不知有没有人用python做kafka
streaming的客户端?
貌似有个Faust包裹可以用,据说是Robinhood在用,不过这种小厂做出来的东西不知道
会不会有很多坑。
还有一个叫Winton Kafka Streams,貌似也可以同kafka streaming连接,不知有没有
做过的,可以分享一些经验吗?先行谢了!
p*****2
发帖数: 21240
8

zookeeper
多谢大牛共享。cassandra是zhaoce大牛的最爱。
kafka是用的akka吗?
感觉kafka和storme是绝配呀
w**z
发帖数: 8232
9
not yet.
http://java.dzone.com/articles/kafka-possibly-moving-java-crc
Kafka + storm 犀利。I feel Cassandra is losing to HBase.
p*****2
发帖数: 21240
10

Kafka
多谢大牛。有时间好好看看kafka。你scala代码看的如何了?
p*****2
发帖数: 21240
11

to
kafka就是通过consumer id来纪录的是吧?如果两个程序用同样的id,是不是就各得一
半得数据了呢?
kafka等所有得consumer都得到event就清除吗?如果有consumer长期不得event怎么办
?有个timeout把consumer exclude吗?
l*****t
发帖数: 2019
12
你不是搞kafka几个月了么?怎么还没懂。去subscribe kafka user group 吧。想问啥
问啥。Jun, Jay, Neha都在。
f*****C
发帖数: 84
13
L家还问这个啊?
confluent不算自己单搞了吗?
用kafka的角度估计不难答,不过要是问如何实现server操作的话就挺难了
其实觉得如果不是面confluent,L家内部也是kafka的client,问的话应该是在应用层
次问吧
l*****t
发帖数: 2019
14
来自主题: Programming版 - redis, kafka
kafka就是log shipping,不算mq。只不过有个pub-sub的架势。如果是low latency的
mq,估计考虑一下zeromq,kafka的paper上好像说zero是rabbit高一倍的throughput。
你看看、试试吧。
T******7
发帖数: 1419
15
【 以下文字转载自 JobHunting 讨论区 】
发信人: taar (taar), 信区: JobHunting
标 题: 利用kafka 幫助不同进程见传输数据靠谱么
发信站: BBS 未名空间站 (Tue Jul 28 22:58:40 2015, 美东)
利用kafka 幫助不同进程见传输数据靠谱么
不同进程是不同语言实现。
卡福卡提供了java cPP的客户端。利用这些特点实现高性能IPC,这个设计有問題么
f********x
发帖数: 99
16
来自主题: Programming版 - 关于Kafka,一个log数据处理的问题
说了一大堆,不知道你到底想问什么问题? collectd => Kafka => Flink or Spark
Streaming => Kafka => C* or other NoSQL可能是你需要的架构。

了)
Tag
l******n
发帖数: 9344
17
来自主题: Programming版 - kafka produce to AWS
发msg到aws的kafka,一直出错。我用的ABC ip登陆([email protected]/* */),broker-list用ABC:
9092
错误信息是:
ip-XXXX.us-west-1.compute.internal:9092/0: Failed to resolve 'ip-XXX.us-west
-1.compute.internal:9092': Name or service not known
AWS的kafka是没有问题,我自己produce,consumer都没有问题。ports也是开了的。好
像还是broker的问题。那位遇到过?谢谢
N*****m
发帖数: 42603
18
来自主题: Programming版 - kafka produce to AWS
啥叫aws的kafka?
aws的kafka叫kinesis

ABC:
west
d*******r
发帖数: 3299
19
来自主题: Programming版 - kafka vs fluentd
fluentd 用过, 设计和可靠性比 logstash 这个垃圾好很多.
不过流量大了,我记得 fluentd 扛不住, 应该不如 kafka.
fluentd 和 kafka 这2个使用场景不一样.
n*w
发帖数: 3393
20
来自主题: Programming版 - 用Kafka做esb?
准备在aws上弄个系统。想用Kafka在stream load 数据。
系统想搞个micro services结构,能不能顺便把Kafka作为esb用?
z****e
发帖数: 54598
21
说说打算用kafka来做啥
s*****r
发帖数: 43070
22
感觉kafka就是个更灵活的logging system,可以随便定义appender,logging的entry
本身就是object,方便consumer使用。
p*****2
发帖数: 21240
23

大牛在L工作对kafka理解的也这么偏呀?
w**z
发帖数: 8232
24
我们准备上Kafka当message queue 用,难道不是?
z****e
发帖数: 54598
25
说说你用kafka做了什么功能?
w**z
发帖数: 8232
26
activemq, rabbitmq, zeromq, 我们用rabbitmq, 量大有问题。性能下降很快。Kafka
has much big throughput .
w**z
发帖数: 8232
27
Rabbit has to remember each message state, so big overhead. Kafka writes to
disk, zookeeper keeps track of offset of each consumer. 花了两天时间搞了下
scala, 感觉是用Scala写Java, 对 FP 没感觉。
l*****t
发帖数: 2019
28
same here

Kafka
b**m
发帖数: 1466
29
没用过kafka,但hornetq得dev team 非常defensive。
有些明显的但难以重现的bug他们都是直接close了事。
w**z
发帖数: 8232
30
来自主题: JobHunting版 - FYI, 做kafka的startup confluent刚成立
刚成立,应该还行。都是Kafka 主要committer. 俺倒是想看 source code,可是看不
懂。
w**z
发帖数: 8232
31
来自主题: JobHunting版 - FYI, 做kafka的startup confluent刚成立
http://kafka.apache.org/documentation.html#design
不觉得和Cassandra很象?
g*****g
发帖数: 34805
32
来自主题: JobHunting版 - FYI, 做kafka的startup confluent刚成立
不像,Kafka的replication更像HBase。Master-Slave.
t**r
发帖数: 3428
33
linkedin backend组面试问kafka, zookeeper一般都问到什么地步,问哪些问题?谢谢
T******7
发帖数: 1419
34
面试会问storm, zookeeper, hadoop, kafka这些高端货么?
看过这些基本的论文,写过简单的你好世界,但是没用过在工作中,能写在简历上么?
t**r
发帖数: 3428
35
利用kafka 幫助不同进程见传输数据靠谱么
不同进程是不同语言实现。
卡福卡提供了java cPP的客户端。利用这些特点实现高性能IPC,这个设计有問題么
g*****g
发帖数: 34805
36
kafka就是个MQ,用来做异步传输是可以的。
N*****m
发帖数: 42603
37
当然可以,问题是你的系统多大,能不能充分利用kafka的特点
i*****h
发帖数: 1534
38
来自主题: JobHunting版 - 求推荐:学习cassandra和 kafka的资料
【 以下文字转载自 Programming 讨论区 】
发信人: icefish (哆拉A梦), 信区: Programming
标 题: 求推荐:学习cassandra和 kafka的资料
发信站: BBS 未名空间站 (Tue Oct 20 02:56:28 2015, 美东)
RT, 谁能推荐些学习资料,由浅入深的那种,有空想自学一下。非常感谢啊!
r**o
发帖数: 430
39
明天要跟老板谈开始后的project,估计应该是做Hbase或者Kafka(或者有可能是spark
,看cover的范围),请问应该选哪个比较好些呢?多谢哈。
f*******t
发帖数: 7549
40
选hbase能学到更多的东西,kafka毕竟结构简单多了。但hbase是昨日黄花,尽量学一
整套生态系统比较好(比如加上spark)
r**o
发帖数: 430
41
能不能细说下hbase为甚是昨日黄花了?kafka涉及的东西少很多啊,spark的话好些从
系统角度考虑没什么东西。
A********d
发帖数: 558
42
kafka
g*****g
发帖数: 34805
43
来自主题: Programming版 - redis, kafka
redis 是DB, kafka是MQ,差得挺多吧。
p*****2
发帖数: 21240
44
来自主题: Programming版 - redis, kafka

两个东西很不同。kafka scale很牛,latency 高。
怎么用,看你的需求了。
f******2
发帖数: 2455
45
来自主题: Programming版 - redis, kafka
latency高是啥概念啊?
另外,啥情况下kafka会和rabbitmq考虑优劣啊?
p*****2
发帖数: 21240
46
来自主题: Programming版 - redis, kafka
rabbit不熟
但是一般需要low latency可能就不能用kafka了
l*****t
发帖数: 2019
47
来自主题: Programming版 - redis, kafka
我老的组用kafka把rabbitmq换了,我们的rabbit问题多多。不过我的use case是cep,
你如果是其他use case,就不知道了。
w**z
发帖数: 8232
48
来自主题: Programming版 - redis, kafka
我们的RabbitMQ 也老是有问题,如果consumer 太慢,message 一多,就挂了。Kafka
scales much better, 也想换,就不知道头愿不愿意花时间和人力了。
f******2
发帖数: 2455
49
来自主题: Programming版 - redis, kafka
Cep apps usually have the highest latency req.
ppl above mentioned that Kafka is not good
for latency sensitive apps. What is your experience
and insight?
l*****t
发帖数: 2019
50
来自主题: Programming版 - redis, kafka
我们不是DSP或RTB, 就是cep给analytics提供干净的数据的load就data warehouse之类
,latency不是问题。几分钟的latency嘛都没问题。
如果用kafka做纯real time的话,我觉得也就做做news feed, garbage in garbage
out那种还行。
1 2 3 4 5 6 7 8 9 10 下页 末页 (共10页)