由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
JobHunting版 - 最快速度拷贝10G文件到100台机器
相关主题
Google 选组分析强推我所在的ICC,牛人绕道.奉献给像我一样曾经为生计而各种奔波的人
TWO positions at Juniper NetworksData Analyst position in NJ
job Sr. Informatica Development Position 转自猎头 (转载)SAP BI With Data Migration position available
问问找IT工作的寻工作机会
Informatica Admin II (Redmond, WA)怎样学Big Data / Hadoop (转行,从Marketing, Business Management)
如何看待网上众多的SQL/DBA的免费培训以及帮助找工作的机会?列几个我印象当中被烙印占领的公司(欢迎更新)
诚心请教:如何准备Facebook onsite?会这个软件就能拿到年薪20万美金?小伙伴们都惊呆了!
北美IT公司精英程度排名(仅供求职参考,数据来自LinkedIn)"走进Oracle的世界,走近Informatica" 网上互动交流会!
相关话题的讨论汇总
话题: messaging话题: bittorrent话题: node话题: latency话题: each
进入JobHunting版参与讨论
1 (共1页)
y*c
发帖数: 904
1
这个bittorrent可以做。
从design跟设计上有没有可以在面试中说清楚的。
如果有人知道free, simple solution (non bittorrent client)么?
t******e
发帖数: 98
2
很实际的问题,同问好的解法。
J*******i
发帖数: 2162
3
像细菌那样一分二二分四的指数增长不是最快的么
如果要考虑高效率的用内存做硬盘的cache,那就更复杂了
w****x
发帖数: 2483
4
考虑到带宽限制, branch out有个limit
t****t
发帖数: 6806
5
multicast?

【在 y*c 的大作中提到】
: 这个bittorrent可以做。
: 从design跟设计上有没有可以在面试中说清楚的。
: 如果有人知道free, simple solution (non bittorrent client)么?

a********m
发帖数: 15480
6
看瓶颈。一般是网络吧。已经知道目标机器和数目而且文件固定的话比bt简单很多。随
时都是一对一传送,每个传送可以考虑象快车那样分块分县城。

【在 y*c 的大作中提到】
: 这个bittorrent可以做。
: 从design跟设计上有没有可以在面试中说清楚的。
: 如果有人知道free, simple solution (non bittorrent client)么?

t**r
发帖数: 3428
7
mark
a*******s
发帖数: 324
8
是故,易有大极,是生两仪,两仪生四象,四象生八卦,八卦定吉凶,吉凶生大业

【在 y*c 的大作中提到】
: 这个bittorrent可以做。
: 从design跟设计上有没有可以在面试中说清楚的。
: 如果有人知道free, simple solution (non bittorrent client)么?

l***m
发帖数: 339
9
google 面的时候问过我这道题

【在 y*c 的大作中提到】
: 这个bittorrent可以做。
: 从design跟设计上有没有可以在面试中说清楚的。
: 如果有人知道free, simple solution (non bittorrent client)么?

c*********n
发帖数: 182
10
Facebook 面试的时候问过我这题,4个datacenter,10G大文件,分发。
相关主题
如何看待网上众多的SQL/DBA的免费培训以及帮助找工作的机会?强推我所在的ICC,牛人绕道.奉献给像我一样曾经为生计而各种奔波的人
诚心请教:如何准备Facebook onsite?Data Analyst position in NJ
北美IT公司精英程度排名(仅供求职参考,数据来自LinkedIn)SAP BI With Data Migration position available
进入JobHunting版参与讨论
z*****n
发帖数: 447
11
这个是不是用 gossip 算法
w********s
发帖数: 1570
12
multicast, there's an implementation:
http://www.informatica.com/us/products/messaging/
Informatica Messaging is a family of next-generation low latency messaging
software products. They deliver extremely low latency messaging over any
network, along with very high throughput, with 24x7 reliability. With these
low latency messaging products, your IT organization can dramatically
improve messaging system resilience and performance, reduce IT
infrastructure costs, and develop trading applications that enhance
competitive advantage.
t******e
发帖数: 98
13
易经就是牛啊,看来几千年前的古人就已经解决这个问题了哈哈,复杂度应该是O(logN
).

【在 a*******s 的大作中提到】
: 是故,易有大极,是生两仪,两仪生四象,四象生八卦,八卦定吉凶,吉凶生大业
w****x
发帖数: 2483
14

你带宽限制的瓶颈怎么减轻的??
感觉就是图的发散, 有其他后续问题吗

【在 c*********n 的大作中提到】
: Facebook 面试的时候问过我这题,4个datacenter,10G大文件,分发。
r********g
发帖数: 1351
15
能说一下interviewer期待什么方面的答案么?比如是希望提供很多种算法呢?还是期
待一个算法的implementation?
另外,我想肯定会问到:如果传到一半断网了怎么办?怎么续传吧?

【在 c*********n 的大作中提到】
: Facebook 面试的时候问过我这题,4个datacenter,10G大文件,分发。
c*********n
发帖数: 182
16
他们期待的大概就是这种分层的传输,4个DATACENTER之间有一个master机器拿到数据
以后,防止一下子占掉带宽,可以先分给四五个机器,分四五个cluster,每个cluster
之间分两层,这样会比较好一些吧。
bittorrent 的我不太了解,不知道怎么样

【在 r********g 的大作中提到】
: 能说一下interviewer期待什么方面的答案么?比如是希望提供很多种算法呢?还是期
: 待一个算法的implementation?
: 另外,我想肯定会问到:如果传到一半断网了怎么办?怎么续传吧?

w****x
发帖数: 2483
17

cluster
意思就是4个data center是4个LAN.
开始的机器先传到另外3个datacenter,
然后每个data center的那个机器再像自己LAN里的机器传输??

【在 c*********n 的大作中提到】
: 他们期待的大概就是这种分层的传输,4个DATACENTER之间有一个master机器拿到数据
: 以后,防止一下子占掉带宽,可以先分给四五个机器,分四五个cluster,每个cluster
: 之间分两层,这样会比较好一些吧。
: bittorrent 的我不太了解,不知道怎么样

y*c
发帖数: 904
18
我觉得秋虫说的分成pieces可以加快distribution, 然后每个node就可以serve这些
pieces了。关键是一个更清晰的prototol(比bittorrent简单很多,因为不需要search
)或者性能分析。不一定是面试时间内需要搞清楚。这个需求大公司到处都有。
w**z
发帖数: 8232
y*c
发帖数: 904
20
say push file with size F to N nodes, each node has download speed and
upload speed di and si, the lower bound of completion time is max{F/u_s, F/
min{di}, NF/(u_s + sum{ui})} and I think this lower bound can be achieved
closely.
example, F=16G, N=16, divide the file into 16 pieces
after 1s: each node has one piece
after 1s: each node has two pieces by exchanging (0-1, 2-3, etc)
after 2s: each node has four ((01)-(23), etc)
after 4s: each node has eight
after 8s: each node has 16
total 16s
x*******1
发帖数: 28835
21
pipeline + chain
pipeline size = the file size which can reach peak i/o bw.
1 (共1页)
进入JobHunting版参与讨论
相关主题
"走进Oracle的世界,走近Informatica" 网上互动交流会!Informatica Admin II (Redmond, WA)
"走进Oracle的世界,走近Informatica" 网上互动交流会!如何看待网上众多的SQL/DBA的免费培训以及帮助找工作的机会?
请大家帮忙看一个ICC, 对于一时找不到工作的是不是一个好选择呢?诚心请教:如何准备Facebook onsite?
五月六月business intelligence 展览会(SF,Chicago,LV,Boston)北美IT公司精英程度排名(仅供求职参考,数据来自LinkedIn)
Google 选组分析强推我所在的ICC,牛人绕道.奉献给像我一样曾经为生计而各种奔波的人
TWO positions at Juniper NetworksData Analyst position in NJ
job Sr. Informatica Development Position 转自猎头 (转载)SAP BI With Data Migration position available
问问找IT工作的寻工作机会
相关话题的讨论汇总
话题: messaging话题: bittorrent话题: node话题: latency话题: each