w***g 发帖数: 5958 | 1 我一直是搞单路的。如果有12G内存还能同时训练两个模型。
有两块GPU还需要手工分配其实不如两台单GPU的方便。
我搞FCN,batch size永远都是1, 所以往往一个GPU都用不满。
我想请教下双GPU对deep learning有啥实际的优势。 |
l*******m 发帖数: 1096 | 2 如果要用自己的网络结构,没有pretrained,就要自己训练imagenet, 这个可是GPU越
多越好。对fcn而言,batch size=1, 就是在不同图像大小时比较方便,不过就不能用
batch norm了。其实,使用 patch/crop/pad整成一样大小的batch, 还是会快些,而且
可以用batch norm
当然双路适合折腾,reduce, sync什么的。如果GPU的芯片相同,可能会支持P2P通信,
不用走CPU. 还有如果网络中有batch norm, 为了速度,batch norm一般是local的,但
是反而比单GPU(同步)的性能好一点点,我估计有些ensembling gain
【在 w***g 的大作中提到】 : 我一直是搞单路的。如果有12G内存还能同时训练两个模型。 : 有两块GPU还需要手工分配其实不如两台单GPU的方便。 : 我搞FCN,batch size永远都是1, 所以往往一个GPU都用不满。 : 我想请教下双GPU对deep learning有啥实际的优势。
|
N*****m 发帖数: 42603 | 3 你多机是用spark吗?有什么caveat?
【在 w***g 的大作中提到】 : 我一直是搞单路的。如果有12G内存还能同时训练两个模型。 : 有两块GPU还需要手工分配其实不如两台单GPU的方便。 : 我搞FCN,batch size永远都是1, 所以往往一个GPU都用不满。 : 我想请教下双GPU对deep learning有啥实际的优势。
|
l*******m 发帖数: 1096 | 4 我就是单机,多机tensorflow就够了
【在 N*****m 的大作中提到】 : 你多机是用spark吗?有什么caveat?
|
N*****m 发帖数: 42603 | 5 如果不用tensorflow呢?
【在 l*******m 的大作中提到】 : 我就是单机,多机tensorflow就够了
|
w***g 发帖数: 5958 | 6 多机主要是按图片并行做预测,或者训练多个模型,
不是多机并行训练一个模型。
【在 N*****m 的大作中提到】 : 如果不用tensorflow呢?
|
N*****m 发帖数: 42603 | 7 这个我知道啊
但是并行的job scheduler/orchastration啥的你用的啥?
【在 w***g 的大作中提到】 : 多机主要是按图片并行做预测,或者训练多个模型, : 不是多机并行训练一个模型。
|
w***g 发帖数: 5958 | 8 没有scheduler。每个输入文件一个输出文件,开始处理前先写一个空文件
占位,如果碰到位置占了就处理下一个。然后就是每台机器起n个进程算了。
如果想用scheduler,torque/qsub比较适合这类问题。
【在 N*****m 的大作中提到】 : 这个我知道啊 : 但是并行的job scheduler/orchastration啥的你用的啥?
|
N*****m 发帖数: 42603 | 9 好像这些没有文件分割,工作流程管理,failover,也不太适合云部署
【在 w***g 的大作中提到】 : 没有scheduler。每个输入文件一个输出文件,开始处理前先写一个空文件 : 占位,如果碰到位置占了就处理下一个。然后就是每台机器起n个进程算了。 : 如果想用scheduler,torque/qsub比较适合这类问题。
|
l*******m 发帖数: 1096 | 10 装多GPU坑很多。比如
1。 一定不要2.5slot宽的
2。最好冷却系统是blower,否则机箱温度过高
3。主板x16/x16/x8/NA的模式一般要在bios里开启
4. 每个PCIe插槽不是一样的,要看主板说明
【在 w***g 的大作中提到】 : 我一直是搞单路的。如果有12G内存还能同时训练两个模型。 : 有两块GPU还需要手工分配其实不如两台单GPU的方便。 : 我搞FCN,batch size永远都是1, 所以往往一个GPU都用不满。 : 我想请教下双GPU对deep learning有啥实际的优势。
|
w*****r 发帖数: 197 | 11 我怎么觉得如果你有两块GPU,batch改为2,训练速度可以快将近一倍。caffe和mxnet应
该都可以在PCIE上完成parameter同步,tensorflow不了解。
【在 w***g 的大作中提到】 : 我一直是搞单路的。如果有12G内存还能同时训练两个模型。 : 有两块GPU还需要手工分配其实不如两台单GPU的方便。 : 我搞FCN,batch size永远都是1, 所以往往一个GPU都用不满。 : 我想请教下双GPU对deep learning有啥实际的优势。
|
S*******e 发帖数: 525 | 12 Yahoo 的玩意: Tensorflow on Spark(https://github.com/yahoo/
TensorFlowOnSpark) 也不能用多机并行训练一个模型吗?
【在 w***g 的大作中提到】 : 多机主要是按图片并行做预测,或者训练多个模型, : 不是多机并行训练一个模型。
|
N*****m 发帖数: 42603 | 13 yahoo还有caffeonspark
【在 S*******e 的大作中提到】 : Yahoo 的玩意: Tensorflow on Spark(https://github.com/yahoo/ : TensorFlowOnSpark) 也不能用多机并行训练一个模型吗?
|