T******7
发帖数: 1419 | 1 【 以下文字转载自 JobHunting 讨论区 】
发信人: taar (taar), 信区: JobHunting
标 题: 利用kafka 幫助不同进程见传输数据靠谱么
发信站: BBS 未名空间站 (Tue Jul 28 22:58:40 2015, 美东)
利用kafka 幫助不同进程见传输数据靠谱么
不同进程是不同语言实现。
卡福卡提供了java cPP的客户端。利用这些特点实现高性能ＩＰＣ，这个设计有問題么 |
p***o
发帖数: 1252 | 2 kafka要写硬盘, 你怎么个高性能法?
【在 T******7 的大作中提到】
: 【 以下文字转载自 JobHunting 讨论区 】
: 发信人: taar (taar), 信区: JobHunting
: 标 题: 利用kafka 幫助不同进程见传输数据靠谱么
: 发信站: BBS 未名空间站 (Tue Jul 28 22:58:40 2015, 美东)
: 利用kafka 幫助不同进程见传输数据靠谱么
: 不同进程是不同语言实现。
: 卡福卡提供了java cPP的客户端。利用这些特点实现高性能ＩＰＣ，这个设计有問題么
|
T******7
发帖数: 1419 | 3 只写page cache里吧，sync/flush 是异步的
【在 p***o 的大作中提到】
: kafka要写硬盘, 你怎么个高性能法?
|
N*****m
发帖数: 42603 | 4 不是，直接写硬盘，保证persistence
他们引了篇文章说了sequential disk write的性能不一定比random memory write的性
能差
【在 T******7 的大作中提到】
: 只写page cache里吧，sync/flush 是异步的
|
N*****m
发帖数: 42603 | 5 性能还是很不错的，如果partition多的话，并行起来很快
【在 p***o 的大作中提到】
: kafka要写硬盘, 你怎么个高性能法?
|
p***o
发帖数: 1252 | 6 就算你调成1秒钟fsync一次，长远来看你发消息也没法超过磁盘的带宽。
IPC不需要持久化图省事就用zmq之类的好了。
【在 T******7 的大作中提到】
: 只写page cache里吧，sync/flush 是异步的
|
N*****m
发帖数: 42603 | 7 是的，我在招工版说了类似的
如果系统不大，0mq就行了
【在 p***o 的大作中提到】
: 就算你调成1秒钟fsync一次，长远来看你发消息也没法超过磁盘的带宽。
: IPC不需要持久化图省事就用zmq之类的好了。
|
p***o
发帖数: 1252 | 8 不知kafka什么时候能到1.0.0版...
【在 N*****m 的大作中提到】
: 是的，我在招工版说了类似的
: 如果系统不大，0mq就行了
|
