N**D
发帖数: 10322 | 1 打算搞一个主要做大规模数据处理的机器
大致要求是: 硬盘要大要快， 现在有的数据动不动就100G； 内存要大， core 要多，
CPU的频率不重要， 显卡也不重要
现在看了一下: Apple Mac Pro, $3399, 3.7G 4-core 10MB L2, 16G (4x4G) memory,
512G SSD
感觉有点贵
不知道PC 陪一个类似 的要多少米？
不太想自己买零件装，好久不搞，不熟悉。 |
a*****s
发帖数: 2663 | |
d***a
发帖数: 13752 | 3 Mac Pro的设计，是单CPU双GPU，很适合Photoshop或别的可用GPU加速的应用。但数据
处理一般用不到GPU，那就浪费了。
如果有五六千的预算，可以买个双CPU的tower server，128GB的内存都可以配出来。
,
【在 N**D 的大作中提到】
: 打算搞一个主要做大规模数据处理的机器
: 大致要求是: 硬盘要大要快， 现在有的数据动不动就100G； 内存要大， core 要多，
: CPU的频率不重要， 显卡也不重要
: 现在看了一下: Apple Mac Pro, $3399, 3.7G 4-core 10MB L2, 16G (4x4G) memory,
: 512G SSD
: 感觉有点贵
: 不知道PC 陪一个类似 的要多少米？
: 不太想自己买零件装，好久不搞，不熟悉。
|
a***e
发帖数: 27968 | 4 到恶霸搞一个dell C6000系列的退役server，4 node 8 CPU 32core，
就看你的OS能不能搞起来
,
★ 发自iPhone App: ChineseWeb 8.6
【在 N**D 的大作中提到】
: 打算搞一个主要做大规模数据处理的机器
: 大致要求是: 硬盘要大要快， 现在有的数据动不动就100G； 内存要大， core 要多，
: CPU的频率不重要， 显卡也不重要
: 现在看了一下: Apple Mac Pro, $3399, 3.7G 4-core 10MB L2, 16G (4x4G) memory,
: 512G SSD
: 感觉有点贵
: 不知道PC 陪一个类似 的要多少米？
: 不太想自己买零件装，好久不搞，不熟悉。
|
N**D
发帖数: 10322 | 5 OS 就是linux 了
其实OSX 也可以，有那个terminal.
【在 a***e 的大作中提到】
: 到恶霸搞一个dell C6000系列的退役server，4 node 8 CPU 32core，
: 就看你的OS能不能搞起来
:
: ,
: ★ 发自iPhone App: ChineseWeb 8.6
|
N**D
发帖数: 10322 | 6 这个内存没法加啊，所有的,内存，硬盘，都不可以customize
【在 a*****s 的大作中提到】
: Dell T3610, 自己加内存到128G
|
N**D
发帖数: 10322 | 7 有理，mac pro那个显卡太牛了， 直接编辑4K video
Dell 的 tower server?
【在 d***a 的大作中提到】
: Mac Pro的设计，是单CPU双GPU，很适合Photoshop或别的可用GPU加速的应用。但数据
: 处理一般用不到GPU，那就浪费了。
: 如果有五六千的预算，可以买个双CPU的tower server，128GB的内存都可以配出来。
:
: ,
|
a*****s
发帖数: 2663 | 8 选便宜的，自己加硬盘和内存。内存16G一根的自己买150刀，可以上8根。要双CPU就搞
T7610，不过肯定超你的budget了。
同档次的品牌机，基本上最贵是HP，其次来弄我，最便宜DELL。想要再便宜就要自己搞
了，比如入supermicro的barebone，自己搞cpu,硬盘内存之类也不麻烦多少。
【在 N**D 的大作中提到】
: 这个内存没法加啊，所有的,内存，硬盘，都不可以customize
|
n****1
发帖数: 1136 | 9 为啥不上ec2/azure/gce? azure一个月的免费,能上最强大的机器，很给力的。 |
N**D
发帖数: 10322 | 10 价钱啊，EC2这个配置，一个小时好几毛，还不包括Storage cost
而且这个还可以顺便当个台式机用，看个电影啥的
【在 n****1 的大作中提到】
: 为啥不上ec2/azure/gce? azure一个月的免费,能上最强大的机器，很给力的。
|
|
|
d***a
发帖数: 13752 | 11 没错啊。我以前算过一次，买一台小型服务器的钱，拿来租用同等计算能力
的E2C，只能用四到五个月。如果自己的工作站/服务器的利用率很高，还是
自己买更合算些。
Dell的PowerEdge T420或T620还不错。也可以自己去网站上配
barebone server，能省一点，但省不了多少。
【在 N**D 的大作中提到】
: 价钱啊，EC2这个配置，一个小时好几毛，还不包括Storage cost
: 而且这个还可以顺便当个台式机用，看个电影啥的
|
n****1
发帖数: 1136 | 12 神马计算需要24x7啊? 我看2x7利用率就很高了. azure和gce可都是per minute
billing, 不用时关掉就是了.
还有, 如果只做一个项目. 与其花3个月在一台机子上算,不如花一天在100台机子上算,
金钱差不多, 时间成本小多了.
如果是花公家的钱当然是买实体机, 而且是越贵心里越痛快. 如果是自己出钱,到时可
能发现买回来超级机器大部分时间cpu利用率<1%. 几千刀就随时间慢慢蒸发了.
所以我觉得这个和手机计划差不多:买机器就像签合约,不管用多用少都要付那么多钱;
用云就像prepaid, 按需付款.所以如果公司给补贴就上合约,自己掏钱就是prepaid好.
【在 d***a 的大作中提到】
: 没错啊。我以前算过一次，买一台小型服务器的钱，拿来租用同等计算能力
: 的E2C，只能用四到五个月。如果自己的工作站/服务器的利用率很高，还是
: 自己买更合算些。
: Dell的PowerEdge T420或T620还不错。也可以自己去网站上配
: barebone server，能省一点，但省不了多少。
|
d***a
发帖数: 13752 | 13 专业计算里，很多很多了，不说算几天，几个星期甚至几个月的都有。
另外有些计算，无法做成分布式并行，或者要求很大的内存，那么自己买好机器比E2C
更快。
E2C适合突发式的大规模分布式并行计算。比如说数据来了，很短时间内就要出结果，
要用几千上万个node并行，就很适合E2C。如果自己（公家）搞一个大的cluster，利用
率很低，就太不合算了。
算,
【在 n****1 的大作中提到】
: 神马计算需要24x7啊? 我看2x7利用率就很高了. azure和gce可都是per minute
: billing, 不用时关掉就是了.
: 还有, 如果只做一个项目. 与其花3个月在一台机子上算,不如花一天在100台机子上算,
: 金钱差不多, 时间成本小多了.
: 如果是花公家的钱当然是买实体机, 而且是越贵心里越痛快. 如果是自己出钱,到时可
: 能发现买回来超级机器大部分时间cpu利用率<1%. 几千刀就随时间慢慢蒸发了.
: 所以我觉得这个和手机计划差不多:买机器就像签合约,不管用多用少都要付那么多钱;
: 用云就像prepaid, 按需付款.所以如果公司给补贴就上合约,自己掏钱就是prepaid好.
|
n****1
发帖数: 1136 | 14 无法并行的运算,一般都是能在短时间(至少一天)内出结果的. 需要长期运行的东西,
一般是能并行的, 否则设计师就是算法盲.
计算这个开销其实在科研成本里永远是小头(挖矿的除外), 而且上云能对每一个具体的
, 计算量大的project达到立竿见影的效果. 所以我觉得那些买超级机搞计算的, 大多
只是给自己找个消费的借口罢了.
E2C
【在 d***a 的大作中提到】
: 专业计算里，很多很多了，不说算几天，几个星期甚至几个月的都有。
: 另外有些计算，无法做成分布式并行，或者要求很大的内存，那么自己买好机器比E2C
: 更快。
: E2C适合突发式的大规模分布式并行计算。比如说数据来了，很短时间内就要出结果，
: 要用几千上万个node并行，就很适合E2C。如果自己（公家）搞一个大的cluster，利用
: 率很低，就太不合算了。
:
: 算,
|
d***a
发帖数: 13752 | 15 问题不是并行，是分布式并行。有一些算法在hardware shared memory机器上运行良好
，放在集群上就不行了。
【在 n****1 的大作中提到】
: 无法并行的运算,一般都是能在短时间(至少一天)内出结果的. 需要长期运行的东西,
: 一般是能并行的, 否则设计师就是算法盲.
: 计算这个开销其实在科研成本里永远是小头(挖矿的除外), 而且上云能对每一个具体的
: , 计算量大的project达到立竿见影的效果. 所以我觉得那些买超级机搞计算的, 大多
: 只是给自己找个消费的借口罢了.
:
: E2C
|
t*****z
发帖数: 1598 | 16 听说Mac Pro的显卡砍了ECC显存？
【在 N**D 的大作中提到】
: 有理，mac pro那个显卡太牛了， 直接编辑4K video
: Dell 的 tower server?
|
a*****s
发帖数: 2663 | 17 似乎只有四个槽，所以最多16GB x 4=64GB。一代的mac pro 1，1都能上到4GB x 8！所
以说这个垃圾筒设计还是有点坑爹。
【在 t*****z 的大作中提到】
: 听说Mac Pro的显卡砍了ECC显存？
|
f*******2
发帖数: 211 | 18 喜欢折腾就自己搞，品牌机做工是太缩水，打开看看这用料和原件都很差，风扇太吵，
只能放机房里，除了高端机和apple。自己搞至少省30%。你这得上双CPU，上Raid，加
大内存。垃圾桶主要是内存插槽太少，32Gb的内存条太贵了，存储扩展可用
thunderbolt。 |
f*******2
发帖数: 211 | 19 低频版本的7970加了Non ECC 内存
要是ECC 就是W9000了。
【在 t*****z 的大作中提到】
: 听说Mac Pro的显卡砍了ECC显存？
|
N**D
发帖数: 10322 | 20 多谢大伙的建议
欧的上一个台式机还是7，8年前的了，这几天想试一下一个NLP的package, 根本没法启
动。
现在试着配，发现好多东西都没听说过。 SATA 要被淘汰了， Mac Pro 开始用PCIe
SSD了
等会再折腾一个T7610的配置贴上来，给瞅瞅。
【在 f*******2 的大作中提到】
: 喜欢折腾就自己搞，品牌机做工是太缩水，打开看看这用料和原件都很差，风扇太吵，
: 只能放机房里，除了高端机和apple。自己搞至少省30%。你这得上双CPU，上Raid，加
: 大内存。垃圾桶主要是内存插槽太少，32Gb的内存条太贵了，存储扩展可用
: thunderbolt。
|
|
|
N**D
发帖数: 10322 | 21 thunderbolt 比起内置硬盘，速度差的多不？
【在 f*******2 的大作中提到】
: 喜欢折腾就自己搞，品牌机做工是太缩水，打开看看这用料和原件都很差，风扇太吵，
: 只能放机房里，除了高端机和apple。自己搞至少省30%。你这得上双CPU，上Raid，加
: 大内存。垃圾桶主要是内存插槽太少，32Gb的内存条太贵了，存储扩展可用
: thunderbolt。
|
N**D
发帖数: 10322 | 22 偶没说清
大概是两件事情，一个是数据的处理， 就是算个regression 之类的
还有一个是数据的获取， crawling, 很多免费的API service 有 limit throttling。
需要pacing 一下， 这样就需要机器一直开着。
还有这个ec2 不用的时候，cloud storage 也要花钱。
算,
【在 n****1 的大作中提到】
: 神马计算需要24x7啊? 我看2x7利用率就很高了. azure和gce可都是per minute
: billing, 不用时关掉就是了.
: 还有, 如果只做一个项目. 与其花3个月在一台机子上算,不如花一天在100台机子上算,
: 金钱差不多, 时间成本小多了.
: 如果是花公家的钱当然是买实体机, 而且是越贵心里越痛快. 如果是自己出钱,到时可
: 能发现买回来超级机器大部分时间cpu利用率<1%. 几千刀就随时间慢慢蒸发了.
: 所以我觉得这个和手机计划差不多:买机器就像签合约,不管用多用少都要付那么多钱;
: 用云就像prepaid, 按需付款.所以如果公司给补贴就上合约,自己掏钱就是prepaid好.
|
N**D
发帖数: 10322 | 23 这个是的，很多算法需要data sharing, 很难写成hadoop/map-reduce
【在 d***a 的大作中提到】
: 问题不是并行，是分布式并行。有一些算法在hardware shared memory机器上运行良好
: ，放在集群上就不行了。
|
N**D
发帖数: 10322 | 24 这个是啥意思？ 显卡的内存也可以customize?
【在 t*****z 的大作中提到】
: 听说Mac Pro的显卡砍了ECC显存？
|
f*******2
发帖数: 211 | 25 Thunderbolt 相当于外置的PCIe，第一代 10gb/s， 二代 20gb/s，用外置8盘位Raid5
可以到800MB read， 700MB write。
【在 N**D 的大作中提到】
: thunderbolt 比起内置硬盘，速度差的多不？
|
F****3
发帖数: 1504 | 26 深有体会，现在的HP机器就像开飞机一样。。。
而且广告里还说best in class acoustics ，真是无良啊！
有什么好的RAID卡推荐吗，不能搞太贵的。接4个硬盘搞RAID0. 我现在CPU使用量也很
低，因为硬盘慢。。。
【在 f*******2 的大作中提到】
: 喜欢折腾就自己搞，品牌机做工是太缩水，打开看看这用料和原件都很差，风扇太吵，
: 只能放机房里，除了高端机和apple。自己搞至少省30%。你这得上双CPU，上Raid，加
: 大内存。垃圾桶主要是内存插槽太少，32Gb的内存条太贵了，存储扩展可用
: thunderbolt。
|
f*******2
发帖数: 211 | 27 就4个raid0的话，用主板上的就行了，要经常备份，一个坏了data就没有了， 只能当
临时存储运算结果。要上7，8 个就需要Raid卡。我喜欢用Areca的raid卡，只有areca
支持apple OS X。如果想要的话我可已出一个 Areca 1280ml 24 ports SATA raid
card with 2gb Cache＋BBU for 200+15 运费，这个只支持SATA 3G，用机械硬盘不影
响，但用SSD的话得上 SATA6G，那要贵很多得5，600 刀了。
【在 F****3 的大作中提到】
: 深有体会，现在的HP机器就像开飞机一样。。。
: 而且广告里还说best in class acoustics ，真是无良啊！
: 有什么好的RAID卡推荐吗，不能搞太贵的。接4个硬盘搞RAID0. 我现在CPU使用量也很
: 低，因为硬盘慢。。。
|
F****3
发帖数: 1504 | 28 谢谢！
现在硬盘大小不一，估计一时搞不了高端的硬件RAID了。将来准备有钱全面升级。到时
候还要请教班上几个大神！
areca
【在 f*******2 的大作中提到】
: 就4个raid0的话，用主板上的就行了，要经常备份，一个坏了data就没有了， 只能当
: 临时存储运算结果。要上7，8 个就需要Raid卡。我喜欢用Areca的raid卡，只有areca
: 支持apple OS X。如果想要的话我可已出一个 Areca 1280ml 24 ports SATA raid
: card with 2gb Cache＋BBU for 200+15 运费，这个只支持SATA 3G，用机械硬盘不影
: 响，但用SSD的话得上 SATA6G，那要贵很多得5，600 刀了。
|
N**D
发帖数: 10322 | 29 搞了几个配置，用Mac Pro 和Dell T7610. 给瞅瞅？
1. Conf A is Mac Pro: 3.5G 6 core, 12MB cache, 32G memory, 512G PCIe SSD,
Dual D300
2. Conf B: T7610, 把Mac 的 1CPU+2GPU 变成2CPU+1GPU. 和Conf A 一个价钱
3. 和B比， 把500G ssd 换成了256G SSD + Dual 3TB 7200RPM HD
4. 进一步， 把显卡换成便宜的， 硬盘换成500G SATA 7200RPM + Dual 2TB 7200RPM
HD。 最便宜， $3600
都不便宜。
【在 F****3 的大作中提到】
: 谢谢！
: 现在硬盘大小不一，估计一时搞不了高端的硬件RAID了。将来准备有钱全面升级。到时
: 候还要请教班上几个大神！
:
: areca
|
N**D
发帖数: 10322 | 30 附件
7200RPM
【在 N**D 的大作中提到】
: 搞了几个配置，用Mac Pro 和Dell T7610. 给瞅瞅？
: 1. Conf A is Mac Pro: 3.5G 6 core, 12MB cache, 32G memory, 512G PCIe SSD,
: Dual D300
: 2. Conf B: T7610, 把Mac 的 1CPU+2GPU 变成2CPU+1GPU. 和Conf A 一个价钱
: 3. 和B比， 把500G ssd 换成了256G SSD + Dual 3TB 7200RPM HD
: 4. 进一步， 把显卡换成便宜的， 硬盘换成500G SATA 7200RPM + Dual 2TB 7200RPM
: HD。 最便宜， $3600
: 都不便宜。
|
|
|
f*******2
发帖数: 211 | 31 还是Mac Pro 升级显卡D700, 内存自己升级64GB， $650。 |
N**D
发帖数: 10322 | 32 D700 很划算，amd零售要贵很多很多
【在 f*******2 的大作中提到】
: 还是Mac Pro 升级显卡D700, 内存自己升级64GB， $650。
|
N**D
发帖数: 10322 | 33 这个Dell 网上， 那些硬盘7200RPM, 3.5Inch, 是不是啥server 用的硬盘质量好一些
？ newegg 上大概搜了一下， 同样的2T 硬盘便宜很多，但是担心质量。
还有这个， (Thunderbolt 2 + 7200 RPM external drive) 和（Internal SATA +
7200RPM drive) 那个快一些？ 我感觉还是Internal SATA 快一些。网上都是比较外置
硬盘thunderbolt vs usb 3.0
【在 N**D 的大作中提到】
: 附件
:
: 7200RPM
|
