s******v
发帖数: 4495 | 1 总结
1. Netflix Open Connect是NFLX自己基于开源和off-shelf硬件而开发的一个CDN系统
2. 有两种CDN实现模式，
1) ISP从NFLX拿到OCA，建立BGP链接，作为Local Stream Server，具体的看下面
control flow;
2) NFLX在大的Internet Exchange里面建立Local CDN cluster, 和ISP直接链接
NFLX占了非常高的Internet traffic比例, 2H 2013 vs 2H 2012
1) NFLX 32% ~ 33%
2) Youtube 18% ~ 14%
Netflix decrease illegal file sharing.
项目的背景：
1）项目从2011年开始，目前已经offload了100%的Traffic，达到了16TB；而其他的CDN
例如，Akamai，Limenetwork，Level 3只能达到20-25%；
2）4个Racks的数据量可以达到8.6PB
3）multiple-tier arch:
3.1) Headend, 1(6?) OCA - 80%;
3.2) Small Aggr. 8 OCA - 95%
3.3) Large Aggr. 24 OCA - 100%
4）只有CSCO ASR9K 有这个Scale能力，但是太贵而且大多数功能用不到
5）具体control flow
5.1) Client req. to NFLX控制服务器，返回本地的OCA ip addr
5.2) Client talks to local OCA for stream;
5.3) User routing是由NFLX控制服务器通过IP地址完成，而不是local DNS (AKAM way)
6) 最难就是scalablity, the complexity is the scalability itself;
7) Can be a good fit here, but hard to make its own switch.
8) NFLX use AS# 2906, 在Atalanta, Chicago, San Jose, LA等地的Internet
Exchange可以提供free-settlement peering. And AS# 40027 - Netflix Stream
Service for local OCA
9) Home-grown HW+SW, 除了Router（占据其主要成本一半，其他服务器硬件太便宜了）
硬件：OCA - Open Connect Appliance
- 都是一般Frys就能买的主板，CPU，内存，硬盘，10G网卡
- 1 cluster里面有: 1 Rtr, 20 HDD OCA; 30 SSD OCA
软件
1) FreeBSD, OS
2) nginx, all HTTP traffic
3) Bird, Internet Routing Daemon
4) Self developed application code
Router:
1) 以前用的是JNPR MX960
2) 后来换成了CSCO ASR9K + Typhoon cards w/ 36 10G ports
3) 因为需要260 10G ports |
d****i
发帖数: 1038 | 2 wow...
这个东西对传统设备商如cisco的威胁比上次狗狗的那个方案大吧。
网络虚拟化，设备软件话这个趋势对cisco这些传统厂商来说就是毒药，是吃也死不吃
也死。。
【在 s******v 的大作中提到】
: 总结
: 1. Netflix Open Connect是NFLX自己基于开源和off-shelf硬件而开发的一个CDN系统
: 2. 有两种CDN实现模式，
: 1) ISP从NFLX拿到OCA，建立BGP链接，作为Local Stream Server，具体的看下面
: control flow;
: 2) NFLX在大的Internet Exchange里面建立Local CDN cluster, 和ISP直接链接
: NFLX占了非常高的Internet traffic比例, 2H 2013 vs 2H 2012
: 1) NFLX 32% ~ 33%
: 2) Youtube 18% ~ 14%
: Netflix decrease illegal file sharing.
|
s******v
发帖数: 4495 | 3 这个CDN看上去做起来很简单，当然这帮netflix的家伙也是很厉害，做了一个非常简单
而且实用的方案，就把internet上1/3的traffic给扛下来了
所有软件是open source + homegrown, Server都是off-shelf的大路货，就是router是
最高端的。
【在 d****i 的大作中提到】
: wow...
: 这个东西对传统设备商如cisco的威胁比上次狗狗的那个方案大吧。
: 网络虚拟化，设备软件话这个趋势对cisco这些传统厂商来说就是毒药，是吃也死不吃
: 也死。。
|
z**r
发帖数: 17771 | 4 赞。这个能不能算是SDN的一个经典案例？
【在 s******v 的大作中提到】
: 总结
: 1. Netflix Open Connect是NFLX自己基于开源和off-shelf硬件而开发的一个CDN系统
: 2. 有两种CDN实现模式，
: 1) ISP从NFLX拿到OCA，建立BGP链接，作为Local Stream Server，具体的看下面
: control flow;
: 2) NFLX在大的Internet Exchange里面建立Local CDN cluster, 和ISP直接链接
: NFLX占了非常高的Internet traffic比例, 2H 2013 vs 2H 2012
: 1) NFLX 32% ~ 33%
: 2) Youtube 18% ~ 14%
: Netflix decrease illegal file sharing.
|
s******v
发帖数: 4495 | 5 非常的经典，号称netflix网管部门只有11个人，他们在北美和欧洲有将近20个DC有
cluster
所有软件是在Freebsd，nigix, bird上自己再开发，所有服务器是从frys买零件自己装
（理论上），下一步我看就要自己做switch了。而且绕过了akaimai cdn专利
然后支持了1/3互联网流量。真是牛逼
【在 z**r 的大作中提到】
: 赞。这个能不能算是SDN的一个经典案例？
|
L******t
发帖数: 1985 | 6 这个和SDN没毛关系。Server scale out的一个solution。网络还是传统的，基本上小
夸了思科一下。
一个问题，为什么必须用ASR9000?因为AS#有限所以不能用多个Router？
【在 s******v 的大作中提到】
: 非常的经典，号称netflix网管部门只有11个人，他们在北美和欧洲有将近20个DC有
: cluster
: 所有软件是在Freebsd，nigix, bird上自己再开发，所有服务器是从frys买零件自己装
: （理论上），下一步我看就要自己做switch了。而且绕过了akaimai cdn专利
: 然后支持了1/3互联网流量。真是牛逼
|
s******v
发帖数: 4495 | 7 为什么不是CDN？难道这个还有什么定义吗？最少人家自己叫自己是CDN. hoho
用ASR9K, 是因为有足够的10G port density. 客户不愿意采用hierarchy design, 就
是2个router或为备份
【在 L******t 的大作中提到】
: 这个和SDN没毛关系。Server scale out的一个solution。网络还是传统的，基本上小
: 夸了思科一下。
: 一个问题，为什么必须用ASR9000?因为AS#有限所以不能用多个Router？
|
f*****m
发帖数: 416 | 8 此D非彼D. :-)
【在 s******v 的大作中提到】
: 为什么不是CDN？难道这个还有什么定义吗？最少人家自己叫自己是CDN. hoho
: 用ASR9K, 是因为有足够的10G port density. 客户不愿意采用hierarchy design, 就
: 是2个router或为备份
|
s******v
发帖数: 4495 | 9 那是啥D啊？别话说一半啊，你看我辛辛苦苦总结，写了一大堆，多不容易啊
【在 f*****m 的大作中提到】
: 此D非彼D. :-)
|
s*****g
发帖数: 1055 | 10 读书不仔细啊, 一个在说SDN,一个在答CDN.
I am wondering if the OpenConnect appliances already integrated router and
server functions, why does Netflix still need high end routers?
【在 s******v 的大作中提到】
: 那是啥D啊？别话说一半啊，你看我辛辛苦苦总结，写了一大堆，多不容易啊
|
|
|
f*****m
发帖数: 416 | 11 其实连 Scale out都算不上，其实是把CDN/cache前推，放到SPDC里，尽量接近用户，
减少WAN traffic. 不用多个router是要控制footage,路由器加服务器也就两2个机架
对SDN其实是有需求的，不过。。。
【在 L******t 的大作中提到】
: 这个和SDN没毛关系。Server scale out的一个solution。网络还是传统的，基本上小
: 夸了思科一下。
: 一个问题，为什么必须用ASR9000?因为AS#有限所以不能用多个Router？
|
f*****m
发帖数: 416 | 12 OCA更多的是服务器的功能，如果没记错的话，路由的功能更多的是在它中心的那一部
分，对于前推到SPDC的这一部分，更重要的是I/O吞吐量，那个还是得靠硬件。
【在 s*****g 的大作中提到】
: 读书不仔细啊, 一个在说SDN,一个在答CDN.
: I am wondering if the OpenConnect appliances already integrated router and
: server functions, why does Netflix still need high end routers?
|
s*****g
发帖数: 1055 | 13 这个和SDN还是能扯上一点关系的,用户从哪里获得 content 貌是由中心服务器
决定.
【在 f*****m 的大作中提到】
: 其实连 Scale out都算不上，其实是把CDN/cache前推，放到SPDC里，尽量接近用户，
: 减少WAN traffic. 不用多个router是要控制footage,路由器加服务器也就两2个机架
: 对SDN其实是有需求的，不过。。。
|
f*****m
发帖数: 416 | 14 需求是有的，但现在的方案没法直接控制路由器，只能管它自己的服务器
【在 s*****g 的大作中提到】
: 这个和SDN还是能扯上一点关系的,用户从哪里获得 content 貌是由中心服务器
: 决定.
|
s*****g
发帖数: 1055 | 15 我说路由是指OCA directly peers with ISP,OCA本身不需要路由功能.
【在 f*****m 的大作中提到】
: OCA更多的是服务器的功能，如果没记错的话，路由的功能更多的是在它中心的那一部
: 分，对于前推到SPDC的这一部分，更重要的是I/O吞吐量，那个还是得靠硬件。
|
s******v
发帖数: 4495 | 16 奥，看差了，
没错，这个不是SDN，不过有这个苗头，就是application开始影响到路由
netflix是不愿意使用多个router，但是要260 10G port，最后的结果就是asr 9k
【在 s*****g 的大作中提到】
: 读书不仔细啊, 一个在说SDN,一个在答CDN.
: I am wondering if the OpenConnect appliances already integrated router and
: server functions, why does Netflix still need high end routers?
|
s*****g
发帖数: 1055 | 17 我想Netflix使用Akamai的geo-dns或者Akamai的CDN不是一个很好选择,原因是第三方
DNS服务器无法知道当前vedio服务器的负载，返回的服务器IP无法保证是延迟最短，而
run 自己的DNS网络则开销太大。用Akamai的CDN不仅有开销，不scale, 迁适到笫三方
transit ISP 会有很多扯皮。
【在 s******v 的大作中提到】
: 总结
: 1. Netflix Open Connect是NFLX自己基于开源和off-shelf硬件而开发的一个CDN系统
: 2. 有两种CDN实现模式，
: 1) ISP从NFLX拿到OCA，建立BGP链接，作为Local Stream Server，具体的看下面
: control flow;
: 2) NFLX在大的Internet Exchange里面建立Local CDN cluster, 和ISP直接链接
: NFLX占了非常高的Internet traffic比例, 2H 2013 vs 2H 2012
: 1) NFLX 32% ~ 33%
: 2) Youtube 18% ~ 14%
: Netflix decrease illegal file sharing.
|
s******v
发帖数: 4495 | 18 具体的实现不清楚，不过local OCA是有BGP peering with ISP. 而且我猜，local oca
和netflix central server也有bgp peering，不然的话，server怎么会知道那个oca
serve 那些src ip哪？
【在 s*****g 的大作中提到】
: 我说路由是指OCA directly peers with ISP,OCA本身不需要路由功能.
|
s*****g
发帖数: 1055 | 19 不可能，local oca 应该通过 vpn over public internet
或者application level encryption 和中心服务器通信。
Netflix 应该没有自已的transport，也不需要。
oca
【在 s******v 的大作中提到】
: 具体的实现不清楚，不过local OCA是有BGP peering with ISP. 而且我猜，local oca
: 和netflix central server也有bgp peering，不然的话，server怎么会知道那个oca
: serve 那些src ip哪？
|
s******v
发帖数: 4495 | 20 netflix当然没有网络，这个可能是类似bgp peering，只是传输prefix + nexthop
【在 s*****g 的大作中提到】
: 不可能，local oca 应该通过 vpn over public internet
: 或者application level encryption 和中心服务器通信。
: Netflix 应该没有自已的transport，也不需要。
:
: oca
|
|
|
m**k
发帖数: 290 | 21 netflix的服务比youtube简单多多了。
【在 s******v 的大作中提到】
: netflix当然没有网络，这个可能是类似bgp peering，只是传输prefix + nexthop
|
m********d
发帖数: 188 | 22 好久没看到有意思的东西了，终于看到了一个，谢谢superdmv。
有几个细节想请教superdmv。问问题之前先贡献点儿我的认识。以前没关注过OCA，今
天看到这个后花了点时间学习了下，真的象superdmv说的那样：“这个CDN看上去做起
来很简单，当然这帮netflix的家伙也是很厉害，做了一个非常简单而且实用的方案，
就把internet上1/3的traffic给扛下来了”。我看到的“很简单，很厉害”的地方是一
个全新的CDN方法。传统CDN的核心问题有两个：geo-intellegence database and DNS
。OCA解决了或者说绕过了这两个问题。geo-intellegence database由OCA收到的ISP路
由直接生成；不用akamai式的DNS（基于用户DSN server IP的分布式DNS重定向），直
接查由OCA收到的ISP路由直接生成的geo-intellegence database定位到具体OCA，OCA
peering with transit IPS as catch-all。
开始问问题 :)
1. 能解释下这个tier具体是什么意思吗？
3）multiple-tier arch:
3.1) Headend, 1(6?) OCA - 80%;
3.2) Small Aggr. 8 OCA - 95%
3.3) Large Aggr. 24 OCA - 100%
2. 为什么需要260*10G路由器？我的理解一个cluster(in Internet Exchange,
connecting with peering/transit ISP)有5个rack，每个10*OCA=50*10G port，假设
upstream:downstream 1:2 (5Gbps/OCA），+ 25*10G peering/transit port，= 75*
10G。
3. (for open discussion) 为什么OCA in SPDC需要default route? how to prevent
Netflix from using OCA in ISP-A to serve users in ISP-B?
【在 s******v 的大作中提到】
: 总结
: 1. Netflix Open Connect是NFLX自己基于开源和off-shelf硬件而开发的一个CDN系统
: 2. 有两种CDN实现模式，
: 1) ISP从NFLX拿到OCA，建立BGP链接，作为Local Stream Server，具体的看下面
: control flow;
: 2) NFLX在大的Internet Exchange里面建立Local CDN cluster, 和ISP直接链接
: NFLX占了非常高的Internet traffic比例, 2H 2013 vs 2H 2012
: 1) NFLX 32% ~ 33%
: 2) Youtube 18% ~ 14%
: Netflix decrease illegal file sharing.
|
s******v
发帖数: 4495 | 23 什么意思？为啥简单？
【在 m**k 的大作中提到】
: netflix的服务比youtube简单多多了。
|
m********d
发帖数: 188 | 24 我觉得是因为youtube的内容主要由用户生成，并且有一大堆的用户交互功能（订阅、
评论等）；内容相对短/多/质量不一。
【在 s******v 的大作中提到】
: 什么意思？为啥简单？
|
s******v
发帖数: 4495 | 25 1. 能解释下这个tier具体是什么意思吗？
3）multiple-tier arch:
3.1) Headend, 1(6?) OCA - 80%;
3.2) Small Aggr. 8 OCA - 95%
3.3) Large Aggr. 24 OCA - 100%
你可以看他的slides，意思是多少个OCA能cover多少% traffic，
2. 为什么需要260*10G路由器？我的理解一个cluster(in Internet Exchange,
connecting with peering/transit ISP)有5个rack，每个10*OCA=50*10G port，假设
upstream:downstream 1:2 (5Gbps/OCA），+ 25*10G peering/transit port，= 75*
10G。
这个我也记不清了，好像是20 HDD OCA : 2x10G, 30 SSD OCA 3x10G, 因为bus
limitation还有硬盘IO, 每个是2-3 x 10G，没有oversubscription，所以是130 x 2 =
260
3. (for open discussion) 为什么OCA in SPDC需要default route? how to prevent
Netflix from using OCA in ISP-A to serve users in ISP-B?
哪里写的是要default route? 我没有印象了。在IX里面，因为是private peering，只
advertise自己的network space，不过OCA真要send transit traffic，好像也没有办法
DNS
OCA
【在 m********d 的大作中提到】
: 好久没看到有意思的东西了，终于看到了一个，谢谢superdmv。
: 有几个细节想请教superdmv。问问题之前先贡献点儿我的认识。以前没关注过OCA，今
: 天看到这个后花了点时间学习了下，真的象superdmv说的那样：“这个CDN看上去做起
: 来很简单，当然这帮netflix的家伙也是很厉害，做了一个非常简单而且实用的方案，
: 就把internet上1/3的traffic给扛下来了”。我看到的“很简单，很厉害”的地方是一
: 个全新的CDN方法。传统CDN的核心问题有两个：geo-intellegence database and DNS
: 。OCA解决了或者说绕过了这两个问题。geo-intellegence database由OCA收到的ISP路
: 由直接生成；不用akamai式的DNS（基于用户DSN server IP的分布式DNS重定向），直
: 接查由OCA收到的ISP路由直接生成的geo-intellegence database定位到具体OCA，OCA
: peering with transit IPS as catch-all。
|
s******v
发帖数: 4495 | 26 奥，这倒是有道理，如果从流量上看，还是netflix大，是youtube 2-3倍，不过
youtbue增长比较快
【在 m********d 的大作中提到】
: 我觉得是因为youtube的内容主要由用户生成，并且有一大堆的用户交互功能（订阅、
: 评论等）；内容相对短/多/质量不一。
|
m********d
发帖数: 188 | 27 thanks superdmv for answering question.
do you have link for the slide to explain what tier is?
multiple 10G NIC per OCA. good to know. I just read from https://signup.
netflix.com/openconnect. they didn't mention multiple 10G nic per OCA. 2* or
3* 10G NIC per OCA is very surprising.
for default route, quote from https://signup.netflix.com/openconnect:
Appendix 3: BGP Configuration
IP prefix and metric (MED) data are used to determine which network blocks
an
appliance or appliances will serve. At the time of initial configuration, a
BGP session is
established with the appliance. The routes received via this session are
summarized
and inserted into the Netflix content routing system. Content request from
clients in a
given netblock are routed to the appliance (or appliances), which have
received the
route matching that netblock. Routes received by the appliance are not used
to
determine routing for traffic outbound from the appliance; rather the
appliance uses a
single default route pointed at the gateway of the ISP networks’ choosing.
Each
appliance in the ISP network is required to maintain a BGP session with a
router from
which it receives routing information.
it's true that Netflix always can sent off-net traffic out of isp-a oca w/o
isp-a sending bgp default route. question is how isp-a can prevent it? just
by legal agreement?
一个有趣的发现，基于这个模型，赢家是netflix, isp, movie company；输家是
amazon aws, transit isp,exchange colo provider。
【在 s******v 的大作中提到】
: 1. 能解释下这个tier具体是什么意思吗？
: 3）multiple-tier arch:
: 3.1) Headend, 1(6?) OCA - 80%;
: 3.2) Small Aggr. 8 OCA - 95%
: 3.3) Large Aggr. 24 OCA - 100%
: 你可以看他的slides，意思是多少个OCA能cover多少% traffic，
: 2. 为什么需要260*10G路由器？我的理解一个cluster(in Internet Exchange,
: connecting with peering/transit ISP)有5个rack，每个10*OCA=50*10G port，假设
: upstream:downstream 1:2 (5Gbps/OCA），+ 25*10G peering/transit port，= 75*
: 10G。
|
m********d
发帖数: 188 | 28 从流量上看，netflix大得多。但是netflix是cheap traffic。这反而是个不利因素。
这也是为什么google没有那么大的动力搞象oca类似的东西。
【在 s******v 的大作中提到】
: 奥，这倒是有道理，如果从流量上看，还是netflix大，是youtube 2-3倍，不过
: youtbue增长比较快
|
m********d
发帖数: 188 | 29 it's hard to believe 4U server w/ 1*Intel E3-1260L CPU can do 2* or 3* 10G
NICs. bottleneck should be on CPU not on I/O.
【在 s******v 的大作中提到】
: 1. 能解释下这个tier具体是什么意思吗？
: 3）multiple-tier arch:
: 3.1) Headend, 1(6?) OCA - 80%;
: 3.2) Small Aggr. 8 OCA - 95%
: 3.3) Large Aggr. 24 OCA - 100%
: 你可以看他的slides，意思是多少个OCA能cover多少% traffic，
: 2. 为什么需要260*10G路由器？我的理解一个cluster(in Internet Exchange,
: connecting with peering/transit ISP)有5个rack，每个10*OCA=50*10G port，假设
: upstream:downstream 1:2 (5Gbps/OCA），+ 25*10G peering/transit port，= 75*
: 10G。
|
s******v
发帖数: 4495 | 30 here is the link. it was lost when i did copy & paste.
http://www.nanog.org/sites/default/files/tue.lightning1.general
"The routes received via this session are summarized and inserted into the
Netflix content routing system"
So the OCA acts not only the stream server but also an agent to collect
local routing data and reflect back to its server. It is a quite neat
solution to me.
how to prevent the off-net traffic? i think should be easy, because ISP can
require OCA to streaming traffic to a designated router, where all foreign
traffic will be dumped to null0.
for the losers, the no.1 should be the big 3 cdn providers. not only they
lose biz but also their biz base is not that solid anymore. transit isp and
ix should be ok, maybe lose some revenue by the thru traffic, but save a lot
of capacity.
or
a
【在 m********d 的大作中提到】
: thanks superdmv for answering question.
: do you have link for the slide to explain what tier is?
: multiple 10G NIC per OCA. good to know. I just read from https://signup.
: netflix.com/openconnect. they didn't mention multiple 10G nic per OCA. 2* or
: 3* 10G NIC per OCA is very surprising.
: for default route, quote from https://signup.netflix.com/openconnect:
: Appendix 3: BGP Configuration
: IP prefix and metric (MED) data are used to determine which network blocks
: an
: appliance or appliances will serve. At the time of initial configuration, a
|
|
|
s******v
发帖数: 4495 | 31 i believe google has its own cdn solution. and they have their own backbone
but solution should be similar. i guess.
【在 m********d 的大作中提到】
: 从流量上看，netflix大得多。但是netflix是cheap traffic。这反而是个不利因素。
: 这也是为什么google没有那么大的动力搞象oca类似的东西。
|
s******v
发帖数: 4495 | 32 from the slides (page 9), the 4th 10G sfp/nic is unused due to bus
limitation. so i think it is opposite, io is the lower hand.
【在 m********d 的大作中提到】
: it's hard to believe 4U server w/ 1*Intel E3-1260L CPU can do 2* or 3* 10G
: NICs. bottleneck should be on CPU not on I/O.
|
s******v
发帖数: 4495 | 33 你这个问题还是很有biz sense的。
现在不是，不过以后难说，这个asr 9k大头问的第一个问题，就是netflix任何看sdn，
人家的回答是，我们“现在”还不想/会做switch，不过人家话里画外就是说，你们和J
太贵了，其他什么都是off-shelf和open-source，你们那个router是好，可是我们不需
要那么多feature
说句实话，我是听得，心里巴巴的凉啊
【在 z**r 的大作中提到】
: 赞。这个能不能算是SDN的一个经典案例？
|
m********d
发帖数: 188 | 34 smart. isp owns the router, so it can hold ibgp route plus *.2906$ route. it
doesn't matter send 0/0 to oca or oca set default gw to router, off-net
traffic except traffic to AS2906 will be dropped on upstream router, which
means this route is dedicated to oca. so isp has to pitch in bw/power/space/
router.
real threat to Akamai/llnw/l3 is aws/azure, not home-grown cdn from fb/goog/
Netflix/etc. anyway it's hard for them to get biz from them, haha. biz for
Akamai/llnw/l3 is still from small fish w/ more money.
of course goog has its cdn, but not like this to put server into eyeball
network w/o paying and isp has to pitch in bw/power/space/router.
通用cpu w/o asic能够处理30Gbps的流量吗？不太懂，也很难相信。这可能就是oca真
正厉害的地方。
can
【在 s******v 的大作中提到】
: here is the link. it was lost when i did copy & paste.
: http://www.nanog.org/sites/default/files/tue.lightning1.general
: "The routes received via this session are summarized and inserted into the
: Netflix content routing system"
: So the OCA acts not only the stream server but also an agent to collect
: local routing data and reflect back to its server. It is a quite neat
: solution to me.
: how to prevent the off-net traffic? i think should be easy, because ISP can
: require OCA to streaming traffic to a designated router, where all foreign
: traffic will be dumped to null0.
|
m**k
发帖数: 290 | 35 这个load balancing 应该是直接bird/bgpadvertise public IP 给router, ECMP.
router起的作用主要是load balancer.
it
space/
goog/
【在 m********d 的大作中提到】
: smart. isp owns the router, so it can hold ibgp route plus *.2906$ route. it
: doesn't matter send 0/0 to oca or oca set default gw to router, off-net
: traffic except traffic to AS2906 will be dropped on upstream router, which
: means this route is dedicated to oca. so isp has to pitch in bw/power/space/
: router.
: real threat to Akamai/llnw/l3 is aws/azure, not home-grown cdn from fb/goog/
: Netflix/etc. anyway it's hard for them to get biz from them, haha. biz for
: Akamai/llnw/l3 is still from small fish w/ more money.
: of course goog has its cdn, but not like this to put server into eyeball
: network w/o paying and isp has to pitch in bw/power/space/router.
|
b******s
发帖数: 5329 | 36 还没研究过CDN,感觉这就是内容服务尽量接近用户吧,然后他告诉你去哪里取内容吧.以
后最狠的是,这类内容交换,直接就走FC或FCoE好了,下载到你家里的storage里面,还走
什么IP包这么麻烦?另外,一家Netflix可以这么干,如果以后电视都这方式接入,少说网
络上有上千家服务提供商可选,不可能人人都和AT&T(假如你用他家网络)直接peer或放
东西在AT&T那里吧.我觉得这很明显不是一个最终的解决办法.
【在 d****i 的大作中提到】
: wow...
: 这个东西对传统设备商如cisco的威胁比上次狗狗的那个方案大吧。
: 网络虚拟化，设备软件话这个趋势对cisco这些传统厂商来说就是毒药，是吃也死不吃
: 也死。。
|
j**l
发帖数: 486 | 37 听说几家大 ISPs,如 ATT, VERIZON,等， 都不鸟 Netflix CDN Open Connect.
【在 b******s 的大作中提到】
: 还没研究过CDN,感觉这就是内容服务尽量接近用户吧,然后他告诉你去哪里取内容吧.以
: 后最狠的是,这类内容交换,直接就走FC或FCoE好了,下载到你家里的storage里面,还走
: 什么IP包这么麻烦?另外,一家Netflix可以这么干,如果以后电视都这方式接入,少说网
: 络上有上千家服务提供商可选,不可能人人都和AT&T(假如你用他家网络)直接peer或放
: 东西在AT&T那里吧.我觉得这很明显不是一个最终的解决办法.
|
p*****s
发帖数: 344 | 38 cpu bound is because packet has to be processed (ex. DPI), if just dump disk
content to network, very little cpu involvement (most likely DMA).
that is why it is I/O bound. that is why usually we use packet per sec for
certain type traffic to measure network performance.
【在 m********d 的大作中提到】
: it's hard to believe 4U server w/ 1*Intel E3-1260L CPU can do 2* or 3* 10G
: NICs. bottleneck should be on CPU not on I/O.
|
p*****s
发帖数: 344 | 39 不知道netflix和ISP怎么分担花费。如果ISP完全自己掏钱，那和完全in-transit比到
底能省多少。netflix这样做只有它自己的内容可以用，解决方法不够通用。
【在 b******s 的大作中提到】
: 还没研究过CDN,感觉这就是内容服务尽量接近用户吧,然后他告诉你去哪里取内容吧.以
: 后最狠的是,这类内容交换,直接就走FC或FCoE好了,下载到你家里的storage里面,还走
: 什么IP包这么麻烦?另外,一家Netflix可以这么干,如果以后电视都这方式接入,少说网
: 络上有上千家服务提供商可选,不可能人人都和AT&T(假如你用他家网络)直接peer或放
: 东西在AT&T那里吧.我觉得这很明显不是一个最终的解决办法.
|
a**********k
发帖数: 1953 | 40 Netflix is merely an application of the underlying network.
However, this actually demonstrates a trend that applications
have subsumed many of the functions that used to part of
networking, such as discovery, security in Hardoop, and peering
in this case.
【在 p*****s 的大作中提到】
: 不知道netflix和ISP怎么分担花费。如果ISP完全自己掏钱，那和完全in-transit比到
: 底能省多少。netflix这样做只有它自己的内容可以用，解决方法不够通用。
|
|
|
k*******r
发帖数: 90 | 41 这个东西本质上就是一个基于 ngnix 的 reverse proxy
无非就是 cache 搞得大一点， ttl时间长一点
Google也有类似的 edge caching， 不过规模比起来应该会小很多
https://peering.google.com/about/ggc.html
当然他们一个node做到 8Gps, 代码应该也优化的不错
What throughput does the appliance deliver during peak demand?
For planning purposes, we estimate peak throughput for each appliance at 8
Gbps.
【在 s******v 的大作中提到】
: 总结
: 1. Netflix Open Connect是NFLX自己基于开源和off-shelf硬件而开发的一个CDN系统
: 2. 有两种CDN实现模式，
: 1) ISP从NFLX拿到OCA，建立BGP链接，作为Local Stream Server，具体的看下面
: control flow;
: 2) NFLX在大的Internet Exchange里面建立Local CDN cluster, 和ISP直接链接
: NFLX占了非常高的Internet traffic比例, 2H 2013 vs 2H 2012
: 1) NFLX 32% ~ 33%
: 2) Youtube 18% ~ 14%
: Netflix decrease illegal file sharing.
|
m********d
发帖数: 188 | 42 看了下，这个ggc和oca是一个路数，不同的就是"traffic management"了。这就是为什
么我一直认为cdn在某种意义上%95是软件技术。这也是为什么我说akamai做不了goog/
amzn/fb/nflx/etc.等超大型互联网公司的生意，akamai的gtm只能基于用户dns来
redirect。
goog/amzn/fb/nflx等内容的不同决定了各家都有自己cdn方案。
【在 k*******r 的大作中提到】
: 这个东西本质上就是一个基于 ngnix 的 reverse proxy
: 无非就是 cache 搞得大一点， ttl时间长一点
: Google也有类似的 edge caching， 不过规模比起来应该会小很多
: https://peering.google.com/about/ggc.html
: 当然他们一个node做到 8Gps, 代码应该也优化的不错
: What throughput does the appliance deliver during peak demand?
: For planning purposes, we estimate peak throughput for each appliance at 8
: Gbps.
|
d****i
发帖数: 1038 | 43 我也觉得他们已经打开了做sdn的大门。sdn的门槛主要就是和外部的路由建立和自身的
controller。 这两个他们现在都算有了。实际上我觉得他们现在这个从广义上说已经
算是sdn的雏形，只是还没有用自己的软件直接控制网络设备硬件。
和J
【在 s******v 的大作中提到】
: 你这个问题还是很有biz sense的。
: 现在不是，不过以后难说，这个asr 9k大头问的第一个问题，就是netflix任何看sdn，
: 人家的回答是，我们“现在”还不想/会做switch，不过人家话里画外就是说，你们和J
: 太贵了，其他什么都是off-shelf和open-source，你们那个router是好，可是我们不需
: 要那么多feature
: 说句实话，我是听得，心里巴巴的凉啊
|
s******v
发帖数: 4495 | 44 不鸟不会的，毕竟netflix流量大，isp不愿意在自己的domain里面放其他的device，不
过我看at&t是在IX里面和netflix peering
【在 j**l 的大作中提到】
: 听说几家大 ISPs,如 ATT, VERIZON,等， 都不鸟 Netflix CDN Open Connect.
|
s******v
发帖数: 4495 | 45 netflix的人提到了一条要求，现在设备无法做到的，如何直接把内存里面的routing
table里面一条route改了，例如改动一条path attribute从而变成best path。现在的
bgp都是修改route map，然后soft clear，这个开销太大了。这个我想就是比较典型的
sdn要求
【在 d****i 的大作中提到】
: 我也觉得他们已经打开了做sdn的大门。sdn的门槛主要就是和外部的路由建立和自身的
: controller。 这两个他们现在都算有了。实际上我觉得他们现在这个从广义上说已经
: 算是sdn的雏形，只是还没有用自己的软件直接控制网络设备硬件。
:
: 和J
|
c*a
发帖数: 806 | 46 这个BGP soft clear/reset 是比较恶心。一直没搞清楚。太多的scenarios.
不过这个好像主要的vendor都有自己的solution? 不需要expensive refresh?
【在 s******v 的大作中提到】
: netflix的人提到了一条要求，现在设备无法做到的，如何直接把内存里面的routing
: table里面一条route改了，例如改动一条path attribute从而变成best path。现在的
: bgp都是修改route map，然后soft clear，这个开销太大了。这个我想就是比较典型的
: sdn要求
|
m**k
发帖数: 290 | 47
这个是cisco特有的？
【在 c*a 的大作中提到】
: 这个BGP soft clear/reset 是比较恶心。一直没搞清楚。太多的scenarios.
: 不过这个好像主要的vendor都有自己的solution? 不需要expensive refresh?
|
m**k
发帖数: 290 | 48 $ traceroute 69.53.236.17
...
8 tge8-4.fr4.sjc.llnw.net (69.28.171.118) 39.253 ms 22.797 ms tge18-2.
fr3.sjc.llnw.net (69.28.172.54) 25.082 ms
9 netflix.tge7-4.fr4.sjc.llnw.net (69.28.179.74) 48.394 ms ve5.fr4.sjc.
llnw.net (69.28.171.210) 19.060 ms 29.856 ms
10 netflix.tge7-4.fr4.sjc.llnw.net (69.28.179.74) 31.160 ms 25.653 ms 24
.756 ms
11 te1-8.csrt-agg01.prod1.netflix.com (69.53.225.6) 22.401 ms 25.522 ms
xe-2-2-0-954.jnrt-edge01.prod1.netflix.com (69.53.225.26) 32.865 ms
12 www.trynetflix.com (69.53.236.17) 24.612 ms 23.704 ms 20.834 ms
11是netflix的edge router, 应该是个 mx960.
12直接就是 server。可以猜测 69.53.236.17 是一个VIP. server上跑BGP来load
balancing.
有趣的是没有在用link aggregation. 那篇文章里不是说一个server可以处理20G带宽
？用link aggregation可以更稳定些吧。
另外貌似mx960 ECMP最多支持 64 个nexthop? 也就是说一个mx960背后最多有32/64个
server? |
s*****g
发帖数: 1055 | 49 ???? 这个不难做到, for example, google "Internap MIRO", nothing fancy,
they have dedicated route servers act as RR server, this server can take
into account performance metrics (latency, packet drop etc)to destination
prefixes, the server can change path attribute dynamically based the
performance metrics and then reflect to RR clients. There is a recent RFC
written by a Microsoft engineer talking about BGP SDN, the BGP controller is
only couple thousand Python code, no software changes needed on actual
routers.
需要人工干预的solution absolutely unacceptable.
Maybe I misunderstood the requirement from Netflix.
【在 s******v 的大作中提到】
: netflix的人提到了一条要求，现在设备无法做到的，如何直接把内存里面的routing
: table里面一条route改了，例如改动一条path attribute从而变成best path。现在的
: bgp都是修改route map，然后soft clear，这个开销太大了。这个我想就是比较典型的
: sdn要求
|
s*****g
发帖数: 1055 | 50 This is highly unlikely Netflix's streaming service IPs. I can give my
reasoning when I have time.
24
【在 m**k 的大作中提到】
: $ traceroute 69.53.236.17
: ...
: 8 tge8-4.fr4.sjc.llnw.net (69.28.171.118) 39.253 ms 22.797 ms tge18-2.
: fr3.sjc.llnw.net (69.28.172.54) 25.082 ms
: 9 netflix.tge7-4.fr4.sjc.llnw.net (69.28.179.74) 48.394 ms ve5.fr4.sjc.
: llnw.net (69.28.171.210) 19.060 ms 29.856 ms
: 10 netflix.tge7-4.fr4.sjc.llnw.net (69.28.179.74) 31.160 ms 25.653 ms 24
: .756 ms
: 11 te1-8.csrt-agg01.prod1.netflix.com (69.53.225.6) 22.401 ms 25.522 ms
: xe-2-2-0-954.jnrt-edge01.prod1.netflix.com (69.53.225.26) 32.865 ms
|
|
|
m**t
发帖数: 1292 | 51 direct peering will optimize the access and reduce toll , but the content
level optimization is the core competence |
s******v
发帖数: 4495 | 52 internap是自己写的bgp stack？他是在自己AS里面，而且他那个solution有scale问题
，几年前有过一个case。
netflix的大概意思是，我也是听了一耳朵，在现有的design下，他的节点就是一个
router, 希望用API把内存里面bgp table里面其中一条prefix改了，具体的scenario不详
,
is
【在 s*****g 的大作中提到】
: ???? 这个不难做到, for example, google "Internap MIRO", nothing fancy,
: they have dedicated route servers act as RR server, this server can take
: into account performance metrics (latency, packet drop etc)to destination
: prefixes, the server can change path attribute dynamically based the
: performance metrics and then reflect to RR clients. There is a recent RFC
: written by a Microsoft engineer talking about BGP SDN, the BGP controller is
: only couple thousand Python code, no software changes needed on actual
: routers.
: 需要人工干预的solution absolutely unacceptable.
: Maybe I misunderstood the requirement from Netflix.
|
