b***d
发帖数: 288 | 1 刚开始学习，两个问题想学习一下，
1. “制约CNN的不是硬件而是sigmoid函数”
sigmoid函数怎么制约了CNN？
2. 网络里很多地方引入了随机数，比如在DBN中的初始场和激活函数，
为什么一定要引入随机？而实际计算过程中，epoch,batch循环时这个貌似随机数 并
不是真正的随机（每次循环时都是相同的）。 |
x****u
发帖数: 44466 | 2 你问wdong更好，他专业我是业余爱好者
1是因为sigmoid梯度消失限制了深度，relu简单粗暴的解决了问题；
2我不清楚随机在神经网络里的本质意义，似乎也没有人理论上搞出结论。感觉目前各
种随机性的引入基于经验规律多点。很多代码每次用固定种子是为了确保结果可重复。
【在 b***d 的大作中提到】
: 刚开始学习，两个问题想学习一下，
: 1. “制约CNN的不是硬件而是sigmoid函数”
: sigmoid函数怎么制约了CNN？
: 2. 网络里很多地方引入了随机数，比如在DBN中的初始场和激活函数，
: 为什么一定要引入随机？而实际计算过程中，epoch,batch循环时这个貌似随机数 并
: 不是真正的随机（每次循环时都是相同的）。
|
w***g
发帖数: 5958 | 3 这个我也不知道。太细节了。
【在 x****u 的大作中提到】
: 你问wdong更好，他专业我是业余爱好者
: 1是因为sigmoid梯度消失限制了深度，relu简单粗暴的解决了问题；
: 2我不清楚随机在神经网络里的本质意义，似乎也没有人理论上搞出结论。感觉目前各
: 种随机性的引入基于经验规律多点。很多代码每次用固定种子是为了确保结果可重复。
|
g****t
发帖数: 31659 | |
b***d
发帖数: 288 | 5 谢谢
【在 x****u 的大作中提到】
: 你问wdong更好，他专业我是业余爱好者
: 1是因为sigmoid梯度消失限制了深度，relu简单粗暴的解决了问题；
: 2我不清楚随机在神经网络里的本质意义，似乎也没有人理论上搞出结论。感觉目前各
: 种随机性的引入基于经验规律多点。很多代码每次用固定种子是为了确保结果可重复。
|
l*****z
发帖数: 3022 | 6 Relu 死起来也可以死的很难看
dropout有啥理论基础？感觉很诡异
【在 x****u 的大作中提到】
: 你问wdong更好，他专业我是业余爱好者
: 1是因为sigmoid梯度消失限制了深度，relu简单粗暴的解决了问题；
: 2我不清楚随机在神经网络里的本质意义，似乎也没有人理论上搞出结论。感觉目前各
: 种随机性的引入基于经验规律多点。很多代码每次用固定种子是为了确保结果可重复。
|
n******r
发帖数: 4455 | 7 Drop out就是一种regularization的方式，随机断掉的方式可以让节点之间的耦合度降
低，减少overfit
【在 l*****z 的大作中提到】
: Relu 死起来也可以死的很难看
: dropout有啥理论基础？感觉很诡异
|
n******r
发帖数: 4455 | 8 随机一方面是为了打破对称性，让Back Propagation能算下去
另一方面GD本质是是空间的搜索，随机起始点搞多次是比较常见的搞法
【在 x****u 的大作中提到】
: 你问wdong更好，他专业我是业余爱好者
: 1是因为sigmoid梯度消失限制了深度，relu简单粗暴的解决了问题；
: 2我不清楚随机在神经网络里的本质意义，似乎也没有人理论上搞出结论。感觉目前各
: 种随机性的引入基于经验规律多点。很多代码每次用固定种子是为了确保结果可重复。
|
