由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - How Twitter Handles Five Billion Sessions a Day
相关主题
关于kuberbetes哪些 web framework 可以 很容易 scale 到 multiple server 上面?
小白弱问一个AWS EC2 outage的问题大牛们,请教大数据系统如何架构
goodbug 以你的经验, EC2 instance 有多大概率,会自己down?微软云服务Azure收入首破10亿美元 挑战亚马逊
哪位说说AWS到底比其他VPS好在哪里?Azure, AWS这些云服务适合哪种规模的公司?
把Drupal架在AWS上,大家看这个方案可行吗??看看学不会鼓吹的Azure有多可怜
AWS vs Azure编程技术与市场推广难易: 社交网, 云计算, 比特币(电子货币)
请教goodbug等大神几个AWS的问题AWS真的好用吗?
被亚马逊绑架的问题netflix 技术讨论
相关话题的讨论汇总
话题: kafka话题: s3话题: twitter话题: sessions话题: billion
进入Programming版参与讨论
1 (共1页)
s***o
发帖数: 2191
N*****m
发帖数: 42603
2
又看见了golang

【在 s***o 的大作中提到】
: https://blog.twitter.com/2015/handling-five-billion-sessions-a-day-in-real-
: time

H******7
发帖数: 1728
3
Go到底有没有前途 很难讲 顶替py只是时间问题 代替cpp困难

★ 发自iPhone App: ChineseWeb 8.7

【在 N*****m 的大作中提到】
: 又看见了golang
p*****2
发帖数: 21240
4
t也用go了?

【在 N*****m 的大作中提到】
: 又看见了golang
N*****m
发帖数: 42603
5
第一幅图就是啊

【在 p*****2 的大作中提到】
: t也用go了?
a9
发帖数: 21638
6
这是在学微信吗?
另外问一下,现在amazon的云计算规模到底大到什么程度了?连twitter也在用?

【在 s***o 的大作中提到】
: https://blog.twitter.com/2015/handling-five-billion-sessions-a-day-in-real-
: time

N*****m
发帖数: 42603
7
基本上除了g, m这种自己就提供IaaS的,都在用吧

【在 a9 的大作中提到】
: 这是在学微信吗?
: 另外问一下,现在amazon的云计算规模到底大到什么程度了?连twitter也在用?

c******o
发帖数: 1277
8


【在 N*****m 的大作中提到】
: 基本上除了g, m这种自己就提供IaaS的,都在用吧
N*****m
发帖数: 42603
9
这个图太老了

【在 c******o 的大作中提到】

p*****2
发帖数: 21240
10

go确实是劳工型的语言呀,l为什么不转go?

【在 N*****m 的大作中提到】
: 第一幅图就是啊
相关主题
AWS vs Azure哪些 web framework 可以 很容易 scale 到 multiple server 上面?
请教goodbug等大神几个AWS的问题大牛们,请教大数据系统如何架构
被亚马逊绑架的问题微软云服务Azure收入首破10亿美元 挑战亚马逊
进入Programming版参与讨论
B*****g
发帖数: 34098
f*******t
发帖数: 7549
12
不错,golang继续壮大
s***o
发帖数: 2191
13
都跑题了,这篇文章跟go没多大关系!
t********e
发帖数: 1169
14
instagram 每天sessions数目都比twitter多了。。
d*******r
发帖数: 3299
15
Device -> AWS ELB -> Go endpoint -> Kafka
https://g.twimg.com/blog/blog/image/answers_architecture_screenshot1_0.png
虽然我会用 ELB, 但是也不想用这种 vendor lock 的方案,
有直接 Device -> Kafka 的方案么?
g*****g
发帖数: 34805
16
这个完全没有vendor lockin,AWS ELB就是一个 load balancer,跟应用无关。后面的
Endpoint是个service layer,也是必须的。

【在 d*******r 的大作中提到】
: Device -> AWS ELB -> Go endpoint -> Kafka
: https://g.twimg.com/blog/blog/image/answers_architecture_screenshot1_0.png
: 虽然我会用 ELB, 但是也不想用这种 vendor lock 的方案,
: 有直接 Device -> Kafka 的方案么?

z****e
发帖数: 54598
17
google infra最近也搞了load balancer,针对游戏的solution
我看国内的阿里云也搞了这个,这个不同cloud之间能通用不?

【在 g*****g 的大作中提到】
: 这个完全没有vendor lockin,AWS ELB就是一个 load balancer,跟应用无关。后面的
: Endpoint是个service layer,也是必须的。

g*****g
发帖数: 34805
18
load balancer最简单的理解就是把traffic round robin,没响应的节点不发而已,跟
应用完全无关,自己是个cluster。所有的云都有。哪怕一个简单的cluster也得有load
balancer. 不同云之间的lockin主要是在存储上。

【在 z****e 的大作中提到】
: google infra最近也搞了load balancer,针对游戏的solution
: 我看国内的阿里云也搞了这个,这个不同cloud之间能通用不?

N*****m
发帖数: 42603
19
现在任何一个IaaS都有LB,区别不大
实在要自己搞就上HAProxy

【在 d*******r 的大作中提到】
: Device -> AWS ELB -> Go endpoint -> Kafka
: https://g.twimg.com/blog/blog/image/answers_architecture_screenshot1_0.png
: 虽然我会用 ELB, 但是也不想用这种 vendor lock 的方案,
: 有直接 Device -> Kafka 的方案么?

w********m
发帖数: 1137
20
push方向,有storm做的实时分词的dashboard
pull方向,储存包给Amazon固然方便,但最大的缺点是计算和储存分离。S3无法原地
map reduce。受制于IO,只有先把数据从S3拖到cassandra。没法实现复杂一点的
feature,比如搜索,竞价,预测什么的。
看来,只有建自己infrastructure的,像facebook,google,amazon等才有竞争力
相关主题
Azure, AWS这些云服务适合哪种规模的公司?AWS真的好用吗?
看看学不会鼓吹的Azure有多可怜netflix 技术讨论
编程技术与市场推广难易: 社交网, 云计算, 比特币(电子货币)澄清微软和Cloud的误区
进入Programming版参与讨论
g*****g
发帖数: 34805
21
如果你的应用本身就跑在AWS上就没这个问题。完全可以数据先存入AWS上的Cassandra
再MP。

【在 w********m 的大作中提到】
: push方向,有storm做的实时分词的dashboard
: pull方向,储存包给Amazon固然方便,但最大的缺点是计算和储存分离。S3无法原地
: map reduce。受制于IO,只有先把数据从S3拖到cassandra。没法实现复杂一点的
: feature,比如搜索,竞价,预测什么的。
: 看来,只有建自己infrastructure的,像facebook,google,amazon等才有竞争力

d*******r
发帖数: 3299
22
请问 goodbug, Nehalem,
我不想要 web service (图里的 Golong 那部分).
比如我就想从 mobile device 发回 log messages,
不能直接从 mobile device -> Kafka 吗?
AWS ELB 我在用, Kafka 主要是不能提供 LB 的 single DNS_name --> multiple host
这种 mappging 吗?
w********m
发帖数: 1137
23
个人觉得twitter和netflix不一样。netflix的S3前面是Cassandra。Twitter好像从
kafka到storm然后就是S3了。
而且twitter还要有timeline的服务,他们用的是redis做cache。https://www.youtube
.com/watch?v=rP9EKvWt0zo
这篇博文根本没提到,奇怪

Cassandra

【在 g*****g 的大作中提到】
: 如果你的应用本身就跑在AWS上就没这个问题。完全可以数据先存入AWS上的Cassandra
: 再MP。

B*****g
发帖数: 34098
24
开始用spark了吗?

Cassandra

【在 g*****g 的大作中提到】
: 如果你的应用本身就跑在AWS上就没这个问题。完全可以数据先存入AWS上的Cassandra
: 再MP。

N*****m
发帖数: 42603
25
你可以直接往kafka写数据,问题是kafka没有安全保护

host

【在 d*******r 的大作中提到】
: 请问 goodbug, Nehalem,
: 我不想要 web service (图里的 Golong 那部分).
: 比如我就想从 mobile device 发回 log messages,
: 不能直接从 mobile device -> Kafka 吗?
: AWS ELB 我在用, Kafka 主要是不能提供 LB 的 single DNS_name --> multiple host
: 这种 mappging 吗?

g*****g
发帖数: 34805
26
这不是可不可以的问题,是一个基本的架构问题。Kafka跟一个数据库没有区别。一个
Client-server-DB 相对于Client-DB 的好处这里都可以体现。基本没有人那么做。

host

【在 d*******r 的大作中提到】
: 请问 goodbug, Nehalem,
: 我不想要 web service (图里的 Golong 那部分).
: 比如我就想从 mobile device 发回 log messages,
: 不能直接从 mobile device -> Kafka 吗?
: AWS ELB 我在用, Kafka 主要是不能提供 LB 的 single DNS_name --> multiple host
: 这种 mappging 吗?

g*****g
发帖数: 34805
27
Twitter需要做实时分析,Netflix不需要,不奇怪。

youtube

【在 w********m 的大作中提到】
: 个人觉得twitter和netflix不一样。netflix的S3前面是Cassandra。Twitter好像从
: kafka到storm然后就是S3了。
: 而且twitter还要有timeline的服务,他们用的是redis做cache。https://www.youtube
: .com/watch?v=rP9EKvWt0zo
: 这篇博文根本没提到,奇怪
:
: Cassandra

d*******r
发帖数: 3299
28
@ goodbug, Nehalem
有 Kafka 配套轻量级的 end device solution 吗? 给 Kafka message 做认证校验啥
的.
你们的意思是, kafka 肯定是在 server cluster 以内范围使用了?
加个 LB + web servers 也是加个 cluster, 多了一层总是增加不少工作量.
如果我只是 upload log messages, 加了这一层的话, end device 端相当于也是用
http POST 来上传 log message了, 那 kafka 那些原生的 client lib 也不能在
device 端用了, device 端得自己做 sending queuing, buffering 啥的了.
g*****g
发帖数: 34805
29
没有中间这一层一个恶意用户就能搞死后端。另外server应用层还可以用来做
filtering, aggregation, enhancement, multi-routing等等。这就是通常的做法。当
然没有人阻止你直接写,只要你想好了后果就行。

【在 d*******r 的大作中提到】
: @ goodbug, Nehalem
: 有 Kafka 配套轻量级的 end device solution 吗? 给 Kafka message 做认证校验啥
: 的.
: 你们的意思是, kafka 肯定是在 server cluster 以内范围使用了?
: 加个 LB + web servers 也是加个 cluster, 多了一层总是增加不少工作量.
: 如果我只是 upload log messages, 加了这一层的话, end device 端相当于也是用
: http POST 来上传 log message了, 那 kafka 那些原生的 client lib 也不能在
: device 端用了, device 端得自己做 sending queuing, buffering 啥的了.

d*******r
发帖数: 3299
30
多谢指点

【在 g*****g 的大作中提到】
: 没有中间这一层一个恶意用户就能搞死后端。另外server应用层还可以用来做
: filtering, aggregation, enhancement, multi-routing等等。这就是通常的做法。当
: 然没有人阻止你直接写,只要你想好了后果就行。

相关主题
刚刚面了一个.NET大牛小白弱问一个AWS EC2 outage的问题
哪里有便宜的hadoop计算平台goodbug 以你的经验, EC2 instance 有多大概率,会自己down?
关于kuberbetes哪位说说AWS到底比其他VPS好在哪里?
进入Programming版参与讨论
p*****2
发帖数: 21240
31

今天才有时间好好看看。跟我设计的architecture差不多。Go其实不是特别需要,Node
.js足够了。

【在 s***o 的大作中提到】
: https://blog.twitter.com/2015/handling-five-billion-sessions-a-day-in-real-
: time

p*****2
发帖数: 21240
32

刚才看了一下, 说是S2直接mr呀?

【在 w********m 的大作中提到】
: push方向,有storm做的实时分词的dashboard
: pull方向,储存包给Amazon固然方便,但最大的缺点是计算和储存分离。S3无法原地
: map reduce。受制于IO,只有先把数据从S3拖到cassandra。没法实现复杂一点的
: feature,比如搜索,竞价,预测什么的。
: 看来,只有建自己infrastructure的,像facebook,google,amazon等才有竞争力

p*****2
发帖数: 21240
33

技术上有可能直接写吗?我怎么感觉不可行?

【在 g*****g 的大作中提到】
: 没有中间这一层一个恶意用户就能搞死后端。另外server应用层还可以用来做
: filtering, aggregation, enhancement, multi-routing等等。这就是通常的做法。当
: 然没有人阻止你直接写,只要你想好了后果就行。

w********m
发帖数: 1137
34
Amazon EMR 重建一堆EC2 instance的cluster,读S3的数据。
没法利用S3的计算能力。换句话,S3不能同时当EC2。
S3的内网网络传输能力再快,没有计算机内部的IO快。
这里twitter只有用EMR建立一个反向ETL的pipeline,把数据拖到cassandra,中间用
storm处理。
这种建构会对后继feature造成巨大的困难。比如应用spark,cluster里面的hadoop的
data node应该同时是spark cluster的slave。所以,twitter这种scale,应该自建
infrastructure的。

【在 p*****2 的大作中提到】
:
: 技术上有可能直接写吗?我怎么感觉不可行?

w********m
发帖数: 1137
35
比如netflix,客户调用S3的视频。S3里面虽然有电影不同清晰度的50个版本,但因为
netflix不掌握存储,无法及时掌握客户的带宽,只有暂时先传一个不清晰的版本。客
户的体验不太好。
z****e
发帖数: 54598
36
哪怕自己建infra也需要区分persistence和service
如果直接在s3上做的话,最后层次切割不明确
最后会导致s3上的东西越做越大,最后什么东西都往s3上堆
内网虽然不如计算机硬盘上的io快,但是便于扩展呀
你这样做下去的后果就是做成一台巨大的mainframe
map reduce本来就不应该是persistence应该做的事
数据的存储这一层做好存储就可以了,计算和存储的分离应该是最早的设计思路

【在 w********m 的大作中提到】
: push方向,有storm做的实时分词的dashboard
: pull方向,储存包给Amazon固然方便,但最大的缺点是计算和储存分离。S3无法原地
: map reduce。受制于IO,只有先把数据从S3拖到cassandra。没法实现复杂一点的
: feature,比如搜索,竞价,预测什么的。
: 看来,只有建自己infrastructure的,像facebook,google,amazon等才有竞争力

p*****2
发帖数: 21240
37
这个确实是
t应该有自己dc吧
是不是这套东西是aws的人过去搞起来的
我们公司也存在这种现象

【在 w********m 的大作中提到】
: Amazon EMR 重建一堆EC2 instance的cluster,读S3的数据。
: 没法利用S3的计算能力。换句话,S3不能同时当EC2。
: S3的内网网络传输能力再快,没有计算机内部的IO快。
: 这里twitter只有用EMR建立一个反向ETL的pipeline,把数据拖到cassandra,中间用
: storm处理。
: 这种建构会对后继feature造成巨大的困难。比如应用spark,cluster里面的hadoop的
: data node应该同时是spark cluster的slave。所以,twitter这种scale,应该自建
: infrastructure的。

p*****2
发帖数: 21240
38
hadoop有locality的设计

【在 z****e 的大作中提到】
: 哪怕自己建infra也需要区分persistence和service
: 如果直接在s3上做的话,最后层次切割不明确
: 最后会导致s3上的东西越做越大,最后什么东西都往s3上堆
: 内网虽然不如计算机硬盘上的io快,但是便于扩展呀
: 你这样做下去的后果就是做成一台巨大的mainframe
: map reduce本来就不应该是persistence应该做的事
: 数据的存储这一层做好存储就可以了,计算和存储的分离应该是最早的设计思路

z****e
发帖数: 54598
39
源自rmi时代ejb的local接口
ejb的下场应该都很清楚了

【在 p*****2 的大作中提到】
: hadoop有locality的设计
g*****g
发帖数: 34805
40
这都是瞎说,视频都是放在CDN上的。开始不清晰是因为要buffering。客户的带宽是客
户决定的。

【在 w********m 的大作中提到】
: 比如netflix,客户调用S3的视频。S3里面虽然有电影不同清晰度的50个版本,但因为
: netflix不掌握存储,无法及时掌握客户的带宽,只有暂时先传一个不清晰的版本。客
: 户的体验不太好。

相关主题
哪位说说AWS到底比其他VPS好在哪里?请教goodbug等大神几个AWS的问题
把Drupal架在AWS上,大家看这个方案可行吗??被亚马逊绑架的问题
AWS vs Azure哪些 web framework 可以 很容易 scale 到 multiple server 上面?
进入Programming版参与讨论
d*******r
发帖数: 3299
41
end device 往 Kafka 里send东西

internal server 往 Kafka 里send东西
技术上有区别?

【在 p*****2 的大作中提到】
: hadoop有locality的设计
g*****g
发帖数: 34805
42
没啥区别,只要服务器有外部IP,端口对外开就行。

【在 d*******r 的大作中提到】
: end device 往 Kafka 里send东西
: 和
: internal server 往 Kafka 里send东西
: 技术上有区别?

d*******r
发帖数: 3299
43
是啊, 我也觉得

【在 g*****g 的大作中提到】
: 没啥区别,只要服务器有外部IP,端口对外开就行。
p*****2
发帖数: 21240
44

有mobile的SDK吗?还是Kafka支持HTTP?我kafka研究不多。

【在 d*******r 的大作中提到】
: end device 往 Kafka 里send东西
: 和
: internal server 往 Kafka 里send东西
: 技术上有区别?

p*****2
发帖数: 21240
45

就查到了这个。这个也是利用dropwizard做web server吧?跟T那个没本质区别。大牛
是用那种方式直接从mobile写kafka呢?
HTTP REST
Apache Kafka HTTP Endpoint for producing and consuming messages from topics
Maintainer: Big Data Open Source Security LLC
License: Apache 2.0
https://github.com/stealthly/dropwizard-kafka-http

【在 d*******r 的大作中提到】
: 是啊, 我也觉得
d*******r
发帖数: 3299
46
我想的是各个语言的 (Java, C, C#) clients 直接就可以在相应的 mobile 上跑的,
不过看了下 clients, 貌似还有些特别的 dependencies, 可能不能直接在 mobile 上
跑, 我回头研究完再来讨论吧

【在 p*****2 的大作中提到】
:
: 就查到了这个。这个也是利用dropwizard做web server吧?跟T那个没本质区别。大牛
: 是用那种方式直接从mobile写kafka呢?
: HTTP REST
: Apache Kafka HTTP Endpoint for producing and consuming messages from topics
: Maintainer: Big Data Open Source Security LLC
: License: Apache 2.0
: https://github.com/stealthly/dropwizard-kafka-http

z****e
发帖数: 54598
47
嘿嘿,vert.x v3就可以直接从客户端往bus里面塞msg
vert.x真是牛逼神器

【在 d*******r 的大作中提到】
: 我想的是各个语言的 (Java, C, C#) clients 直接就可以在相应的 mobile 上跑的,
: 不过看了下 clients, 貌似还有些特别的 dependencies, 可能不能直接在 mobile 上
: 跑, 我回头研究完再来讨论吧

d*******r
发帖数: 3299
48
从 mobile 端 就可以直接塞?
有相应的 mobile Ob-C, C, Java, C# lib 可以直接用吗?

【在 z****e 的大作中提到】
: 嘿嘿,vert.x v3就可以直接从客户端往bus里面塞msg
: vert.x真是牛逼神器

z****e
发帖数: 54598
49
当然可以
2时代就已经支持js了
http://vertx.io/core_manual_js.html#using-the-event-bus-from-cl




【在 d*******r 的大作中提到】
: 从 mobile 端 就可以直接塞?
: 有相应的 mobile Ob-C, C, Java, C# lib 可以直接用吗?

z****e
发帖数: 54598
50
https://github.com/eclipse/vert.x/wiki/Useful-Vert.x-components-and-modules
Mobile clients
https://github.com/goodow/realtime-channel - IoS Vert.x event bus client
https://github.com/goodow/realtime-android - Android Vert.x event bus client

【在 d*******r 的大作中提到】
: 从 mobile 端 就可以直接塞?
: 有相应的 mobile Ob-C, C, Java, C# lib 可以直接用吗?

相关主题
大牛们,请教大数据系统如何架构看看学不会鼓吹的Azure有多可怜
微软云服务Azure收入首破10亿美元 挑战亚马逊编程技术与市场推广难易: 社交网, 云计算, 比特币(电子货币)
Azure, AWS这些云服务适合哪种规模的公司?AWS真的好用吗?
进入Programming版参与讨论
d*******r
发帖数: 3299
51
有点意思, 不过测试的人不多呀

modules
client

【在 z****e 的大作中提到】
: https://github.com/eclipse/vert.x/wiki/Useful-Vert.x-components-and-modules
: Mobile clients
: https://github.com/goodow/realtime-channel - IoS Vert.x event bus client
: https://github.com/goodow/realtime-android - Android Vert.x event bus client

z****e
发帖数: 54598
52
你这种非主流的需求还想要大量普及性应用?
你这是找茬

【在 d*******r 的大作中提到】
: 有点意思, 不过测试的人不多呀
:
: modules
: client

d*******r
发帖数: 3299
53
没有找茬啦 >_<

【在 z****e 的大作中提到】
: 你这种非主流的需求还想要大量普及性应用?
: 你这是找茬

z****e
发帖数: 54598
54
他们正在讨论这个该怎么做
https://groups.google.com/forum/#!msg/vertx/o2lcmzM2O_0/5l9oCycfZDYJ
要么等vert.x自己的protocol gateway
要么就用websocket发送json文件给vert.x的eventbus
这样就可以了,剩下的你就是去看websocket的文档了
当然要自己写和测试

【在 d*******r 的大作中提到】
: 没有找茬啦 >_<
z****e
发帖数: 54598
55
https://docs.google.com/file/d/0B4J2ye6tk2EhTmdBM3ltLVd0eE0/edit
v3 plan里面有一个native client的计划,所以你等v3发布之后看看有没有
3. IoS native event bus client
4. Android native event bus client
p*****2
发帖数: 21240
56
就是个协议。其实大家都可以做。kafka是没有这个需求。
p*****2
发帖数: 21240
57
因该不能
你看到iphone得了吗

【在 d*******r 的大作中提到】
: 我想的是各个语言的 (Java, C, C#) clients 直接就可以在相应的 mobile 上跑的,
: 不过看了下 clients, 貌似还有些特别的 dependencies, 可能不能直接在 mobile 上
: 跑, 我回头研究完再来讨论吧

d*******r
发帖数: 3299
58
可能可以用 Object-C 调官方的 C lib ?
https://github.com/edenhill/librdkafka

【在 p*****2 的大作中提到】
: 因该不能
: 你看到iphone得了吗

N*****m
发帖数: 42603
59
client支持java就可以了
有java client

【在 d*******r 的大作中提到】
: end device 往 Kafka 里send东西
: 和
: internal server 往 Kafka 里send东西
: 技术上有区别?

p*****2
发帖数: 21240
60

C不是platform independent吧?

【在 d*******r 的大作中提到】
: 可能可以用 Object-C 调官方的 C lib ?
: https://github.com/edenhill/librdkafka

相关主题
netflix 技术讨论哪里有便宜的hadoop计算平台
澄清微软和Cloud的误区关于kuberbetes
刚刚面了一个.NET大牛小白弱问一个AWS EC2 outage的问题
进入Programming版参与讨论
x*******1
发帖数: 28835
61
LB 是一种hardware。1个Billion requests也不算啥。 亚麻LB可以无限scale。 LB也
不是总是round robin requests。 round robin的latency会很差。 但新的LB刚开始加
入的时候,的确是rr。你会看到dashboard上的latency 呈现锯齿形。
S3, 不放计算在旁边是为了数据和计算分开。 EMR load 数据从S3到local的确会引入
不必要的latency。 以后也会考虑特殊的应用(对latency要求极高的),现在google
nearline storage , 1st bytes latency都是3s以内,对S3压力很大。
z****e
发帖数: 54598
62
发信人: qxc (法界闲人), 信区: Programming
标 题: Re: 多线程,异步,并发冲突,fp和其它
发信站: BBS 未名空间站 (Mon Mar 16 13:25:33 2015, 美东)
现在有 fiber, 可是起上百万的 fiber, 而且还是 sync 的, 容易读。

google

【在 x*******1 的大作中提到】
: LB 是一种hardware。1个Billion requests也不算啥。 亚麻LB可以无限scale。 LB也
: 不是总是round robin requests。 round robin的latency会很差。 但新的LB刚开始加
: 入的时候,的确是rr。你会看到dashboard上的latency 呈现锯齿形。
: S3, 不放计算在旁边是为了数据和计算分开。 EMR load 数据从S3到local的确会引入
: 不必要的latency。 以后也会考虑特殊的应用(对latency要求极高的),现在google
: nearline storage , 1st bytes latency都是3s以内,对S3压力很大。

x*******1
发帖数: 28835
63
靠, 哪个startup能有这3个公司财大气粗。 就亚麻这套engineer infrastrtucture就
做了10年。 哪那么容易啊。

【在 w********m 的大作中提到】
: push方向,有storm做的实时分词的dashboard
: pull方向,储存包给Amazon固然方便,但最大的缺点是计算和储存分离。S3无法原地
: map reduce。受制于IO,只有先把数据从S3拖到cassandra。没法实现复杂一点的
: feature,比如搜索,竞价,预测什么的。
: 看来,只有建自己infrastructure的,像facebook,google,amazon等才有竞争力

d*******r
发帖数: 3299
64
自己搞的话, 应该用软件的吧, 比如 http://www.haproxy.org/

google

【在 x*******1 的大作中提到】
: LB 是一种hardware。1个Billion requests也不算啥。 亚麻LB可以无限scale。 LB也
: 不是总是round robin requests。 round robin的latency会很差。 但新的LB刚开始加
: 入的时候,的确是rr。你会看到dashboard上的latency 呈现锯齿形。
: S3, 不放计算在旁边是为了数据和计算分开。 EMR load 数据从S3到local的确会引入
: 不必要的latency。 以后也会考虑特殊的应用(对latency要求极高的),现在google
: nearline storage , 1st bytes latency都是3s以内,对S3压力很大。

N*****m
发帖数: 42603
65
小柯的这个料不错,我都没注意到
s3现在的1st byte latency是多少?

google

【在 x*******1 的大作中提到】
: LB 是一种hardware。1个Billion requests也不算啥。 亚麻LB可以无限scale。 LB也
: 不是总是round robin requests。 round robin的latency会很差。 但新的LB刚开始加
: 入的时候,的确是rr。你会看到dashboard上的latency 呈现锯齿形。
: S3, 不放计算在旁边是为了数据和计算分开。 EMR load 数据从S3到local的确会引入
: 不必要的latency。 以后也会考虑特殊的应用(对latency要求极高的),现在google
: nearline storage , 1st bytes latency都是3s以内,对S3压力很大。

w********m
发帖数: 1137
66
同意楼上,大侠能告诉S3的1st byte latency吗?
我想比较一下netflix和youtube的buffering time。
w**z
发帖数: 8232
67
3s? 太夸张了吧?

google

【在 x*******1 的大作中提到】
: LB 是一种hardware。1个Billion requests也不算啥。 亚麻LB可以无限scale。 LB也
: 不是总是round robin requests。 round robin的latency会很差。 但新的LB刚开始加
: 入的时候,的确是rr。你会看到dashboard上的latency 呈现锯齿形。
: S3, 不放计算在旁边是为了数据和计算分开。 EMR load 数据从S3到local的确会引入
: 不必要的latency。 以后也会考虑特殊的应用(对latency要求极高的),现在google
: nearline storage , 1st bytes latency都是3s以内,对S3压力很大。

N*****m
发帖数: 42603
68
最长时间吧
如果bucket在亚洲,美国的request是有可能

【在 w**z 的大作中提到】
: 3s? 太夸张了吧?
:
: google

1 (共1页)
进入Programming版参与讨论
相关主题
netflix 技术讨论把Drupal架在AWS上,大家看这个方案可行吗??
澄清微软和Cloud的误区AWS vs Azure
刚刚面了一个.NET大牛请教goodbug等大神几个AWS的问题
哪里有便宜的hadoop计算平台被亚马逊绑架的问题
关于kuberbetes哪些 web framework 可以 很容易 scale 到 multiple server 上面?
小白弱问一个AWS EC2 outage的问题大牛们,请教大数据系统如何架构
goodbug 以你的经验, EC2 instance 有多大概率,会自己down?微软云服务Azure收入首破10亿美元 挑战亚马逊
哪位说说AWS到底比其他VPS好在哪里?Azure, AWS这些云服务适合哪种规模的公司?
相关话题的讨论汇总
话题: kafka话题: s3话题: twitter话题: sessions话题: billion