由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - Cassandra 看测试read也不算慢呢
相关主题
cassandra的eventual consistency怎么破?为什么facebook不用Cassandra
some thoughts after Cassandra Summit问个master-slave的简单问题
好虫,看看你的东东有没有问题?哈哈 adp用芒果了。这下eventual consistency好玩了。求奖金多发一个0.
春运这个东西,用Storm就可以轻松搞定了consistent hashing实际应用
应该给魏大师发10个图灵奖。Consistency做好了不容易
顺便和nod101说说做产品真心请教,究竟怎么设计才能处理每秒100万次的写操作
data consistency请教基本的时间输入的问题C++
感觉google的infra最近老是出问题其实开源(OpenSource) 不便宜!
相关话题的讨论汇总
话题: cassandra话题: read话题: logs话题: kafka
进入Programming版参与讨论
1 (共1页)
d*******r
发帖数: 3299
g*****g
发帖数: 34805
2
不是不算慢,是很快,完全的linear scale out. 只不过比写慢而已。

【在 d*******r 的大作中提到】
: http://www.infoq.com/cn/articles/cassandra-mythology
d*******r
发帖数: 3299
3
请问大牛,一般可以把 Cassandra 当 generic purpose DB 用吗,就是各种数据都存
里面(可能 money 相关的 transaction 需要存 postgresql / mysql).
还是一般只把 Cassandra 当 log server 用?

【在 g*****g 的大作中提到】
: 不是不算慢,是很快,完全的linear scale out. 只不过比写慢而已。
g*****g
发帖数: 34805
4
It's somewhere in between. If you don't have the data size, don't bother.

【在 d*******r 的大作中提到】
: 请问大牛,一般可以把 Cassandra 当 generic purpose DB 用吗,就是各种数据都存
: 里面(可能 money 相关的 transaction 需要存 postgresql / mysql).
: 还是一般只把 Cassandra 当 log server 用?

d*******r
发帖数: 3299
5
我现在组里有从大量用户端 (live video players, like Twitch) 采集 metrics/logs
不断写到 Cassandra 里面,是个老美在做,他就喜欢 Cassandra。上头要我回头从
Cassandra 里面 real time 地分析这些 data stream, 我准备扔到 Storm 上去处理,
大牛大概看看这么做靠谱不? 因为以前我也误解 Cassandra read 慢,怕这样读速度
跟不上,但自己还没有 Cassandra 的经验。

【在 g*****g 的大作中提到】
: It's somewhere in between. If you don't have the data size, don't bother.
n****1
发帖数: 1136
6
Cassandra可以选择各种Read mode. 速度取决于你是否能接受eventual consistency.
Full consistency的benchmark你要另外找.
但我感觉"Real time"和"Eventual Consistency"好像是很矛盾的.

logs

【在 d*******r 的大作中提到】
: 我现在组里有从大量用户端 (live video players, like Twitch) 采集 metrics/logs
: 不断写到 Cassandra 里面,是个老美在做,他就喜欢 Cassandra。上头要我回头从
: Cassandra 里面 real time 地分析这些 data stream, 我准备扔到 Storm 上去处理,
: 大牛大概看看这么做靠谱不? 因为以前我也误解 Cassandra read 慢,怕这样读速度
: 跟不上,但自己还没有 Cassandra 的经验。

d*******r
发帖数: 3299
7
多谢指教

.

【在 n****1 的大作中提到】
: Cassandra可以选择各种Read mode. 速度取决于你是否能接受eventual consistency.
: Full consistency的benchmark你要另外找.
: 但我感觉"Real time"和"Eventual Consistency"好像是很矛盾的.
:
: logs

w**z
发帖数: 8232
8
depends how the data is structured.

logs

【在 d*******r 的大作中提到】
: 我现在组里有从大量用户端 (live video players, like Twitch) 采集 metrics/logs
: 不断写到 Cassandra 里面,是个老美在做,他就喜欢 Cassandra。上头要我回头从
: Cassandra 里面 real time 地分析这些 data stream, 我准备扔到 Storm 上去处理,
: 大牛大概看看这么做靠谱不? 因为以前我也误解 Cassandra read 慢,怕这样读速度
: 跟不上,但自己还没有 Cassandra 的经验。

w**z
发帖数: 8232
9
think it as a big hash table. if you need Join, and indexing, it is going to
he bad.

【在 d*******r 的大作中提到】
: 请问大牛,一般可以把 Cassandra 当 generic purpose DB 用吗,就是各种数据都存
: 里面(可能 money 相关的 transaction 需要存 postgresql / mysql).
: 还是一般只把 Cassandra 当 log server 用?

g*****g
发帖数: 34805
10
It's a good choice if you are logging metrics and using the time series to
do charting. It can be a poor choice if you are using it as a queue for
buffering events, which you may want to to Kafka instead.

logs

【在 d*******r 的大作中提到】
: 我现在组里有从大量用户端 (live video players, like Twitch) 采集 metrics/logs
: 不断写到 Cassandra 里面,是个老美在做,他就喜欢 Cassandra。上头要我回头从
: Cassandra 里面 real time 地分析这些 data stream, 我准备扔到 Storm 上去处理,
: 大牛大概看看这么做靠谱不? 因为以前我也误解 Cassandra read 慢,怕这样读速度
: 跟不上,但自己还没有 Cassandra 的经验。

相关主题
顺便和nod101说说做产品为什么facebook不用Cassandra
data consistency问个master-slave的简单问题
感觉google的infra最近老是出问题哈哈 adp用芒果了。这下eventual consistency好玩了。求奖金多发一个0.
进入Programming版参与讨论
g*****g
发帖数: 34805
11
And Cassandra is tunable consistency, Read/Write quorum can achieve strong
consistency and fast read/write.
i.e. Most operations under 10ms regardless of total data size.

.

【在 n****1 的大作中提到】
: Cassandra可以选择各种Read mode. 速度取决于你是否能接受eventual consistency.
: Full consistency的benchmark你要另外找.
: 但我感觉"Real time"和"Eventual Consistency"好像是很矛盾的.
:
: logs

z****e
发帖数: 54598
12
你要generic的话还是postgresql
否则transaction是死结,nosql几乎必死这一岔
就是mongodb的内存你也不能完全相信哦
对于严肃的应用来说,尤其是涉及到钱的时候
钱的应用,postgresql是底线,不能再低了
d*******r
发帖数: 3299
13
多谢指教,我再琢磨琢磨。
感觉Kafka 现在是最 hot 的message queue了. 问个菜的问题,它主要好处就是
performance 不错,加上 using persistence by default? 主要受欢迎点在哪里?难
道就是因为用 Scala 写的?
我还记得以前都是一堆 Rabbitmq 和 zeromq 来着.

【在 g*****g 的大作中提到】
: It's a good choice if you are logging metrics and using the time series to
: do charting. It can be a poor choice if you are using it as a queue for
: buffering events, which you may want to to Kafka instead.
:
: logs

d*******r
发帖数: 3299
14
postgreSQL 比 mySQL 主要好在哪里?不受 Oracle 影响?

【在 z****e 的大作中提到】
: 你要generic的话还是postgresql
: 否则transaction是死结,nosql几乎必死这一岔
: 就是mongodb的内存你也不能完全相信哦
: 对于严肃的应用来说,尤其是涉及到钱的时候
: 钱的应用,postgresql是底线,不能再低了

w**z
发帖数: 8232
15
easy to scale, easy integration with storm.

【在 d*******r 的大作中提到】
: 多谢指教,我再琢磨琢磨。
: 感觉Kafka 现在是最 hot 的message queue了. 问个菜的问题,它主要好处就是
: performance 不错,加上 using persistence by default? 主要受欢迎点在哪里?难
: 道就是因为用 Scala 写的?
: 我还记得以前都是一堆 Rabbitmq 和 zeromq 来着.

d*******r
发帖数: 3299
16
还有 zoo keeper, 老是看到一起出现

【在 w**z 的大作中提到】
: easy to scale, easy integration with storm.
w**z
发帖数: 8232
17
Kafka uses zookeeper.

【在 d*******r 的大作中提到】
: 还有 zoo keeper, 老是看到一起出现
d*******r
发帖数: 3299
18
这一套都是 JVM 系的轮子啊,JVM 系确实强。
我在琢磨自己这个实时分析的 project 是不是要上 Java 了, 就是怕 Java 写起来比
Python 慢多了,
好久没写 Java 了, 以前写 C++ 比写 Java 多多了。

【在 w**z 的大作中提到】
: Kafka uses zookeeper.
l*****t
发帖数: 2019
19
take a look at this.
including the references if you have time.
everything you need to know explained I think.
http://engineering.linkedin.com/distributed-systems/log-what-ev

【在 d*******r 的大作中提到】
: 多谢指教,我再琢磨琢磨。
: 感觉Kafka 现在是最 hot 的message queue了. 问个菜的问题,它主要好处就是
: performance 不错,加上 using persistence by default? 主要受欢迎点在哪里?难
: 道就是因为用 Scala 写的?
: 我还记得以前都是一堆 Rabbitmq 和 zeromq 来着.

z****e
发帖数: 54598
20
可以这么认为

【在 d*******r 的大作中提到】
: postgreSQL 比 mySQL 主要好在哪里?不受 Oracle 影响?
d*******r
发帖数: 3299
21
正在看,非常感谢!

【在 l*****t 的大作中提到】
: take a look at this.
: including the references if you have time.
: everything you need to know explained I think.
: http://engineering.linkedin.com/distributed-systems/log-what-ev

1 (共1页)
进入Programming版参与讨论
相关主题
其实开源(OpenSource) 不便宜!应该给魏大师发10个图灵奖。
这个班就被zhaoce这种搞臭了顺便和nod101说说做产品
阿里系统崩溃,没人讨论下data consistency
魏老师拿不出10万次/秒写的数据库感觉google的infra最近老是出问题
cassandra的eventual consistency怎么破?为什么facebook不用Cassandra
some thoughts after Cassandra Summit问个master-slave的简单问题
好虫,看看你的东东有没有问题?哈哈 adp用芒果了。这下eventual consistency好玩了。求奖金多发一个0.
春运这个东西,用Storm就可以轻松搞定了consistent hashing实际应用
相关话题的讨论汇总
话题: cassandra话题: read话题: logs话题: kafka