j****q
发帖数: 12 | 1 最近阿法狗炒的如此热，EE的牛人请介绍下deep learning主要的优势还有局限。 |
m*****h
发帖数: 2292 | 2 需要big data做大规模training
training后目前的实效非常好，这是最大的优势，但目前理论基础并没有建立起来，还
解释不了为什么它的效果好
局限就是如果没有big data做大规模training，它就没有优势了
【在 j****q 的大作中提到】
: 最近阿法狗炒的如此热，EE的牛人请介绍下deep learning主要的优势还有局限。
|
j****q
发帖数: 12 | 3 一般需要多大规模的data？比如阿法狗需要多少棋谱？还有对于data有什么要求，试验
数据还是模拟数据？
【在 m*****h 的大作中提到】
: 需要big data做大规模training
: training后目前的实效非常好，这是最大的优势，但目前理论基础并没有建立起来，还
: 解释不了为什么它的效果好
: 局限就是如果没有big data做大规模training，它就没有优势了
|
m*****h
发帖数: 2292 | 4 数据量大到目前只有google，facebook，baidu这样的公司能搞。。
他们也公开了部分数据集供学术界使用
阿法狗用了所有能用的人类棋谱。。
这个数量还是远远不够的，于是每天几百台阿法狗互下，产生新的棋谱，再用这些棋谱
来继续training，data当然是要实际数据
其实deep learning还是很好骗的，前几年有paper就用人造图片能让这类图像识别系统
完全失效。。
【在 j****q 的大作中提到】
: 一般需要多大规模的data？比如阿法狗需要多少棋谱？还有对于data有什么要求，试验
: 数据还是模拟数据？
|
j****q
发帖数: 12 | 5 如果阿法狗可以自己产生无数棋谱，是否意味着它可以在很短时间内大幅提高能力？阿
法狗互下的棋谱和人类的棋谱对于机器学习来说效果应该不同。
前几年的deep learning好像还没这么厉害，最近的主要技术突破是否有本质的提高？
比如说以前的机器很好骗，但现在只能程度更高。当然还是有局限性。
【在 m*****h 的大作中提到】
: 数据量大到目前只有google，facebook，baidu这样的公司能搞。。
: 他们也公开了部分数据集供学术界使用
: 阿法狗用了所有能用的人类棋谱。。
: 这个数量还是远远不够的，于是每天几百台阿法狗互下，产生新的棋谱，再用这些棋谱
: 来继续training，data当然是要实际数据
: 其实deep learning还是很好骗的，前几年有paper就用人造图片能让这类图像识别系统
: 完全失效。。
|
H***F
发帖数: 2501 | 6 按hinton的说法，以前神经网络名声臭大街，文章题目带神经网络的高级会议都不收。
后来他改进了方法，现在改头换面称deep learning，又热火了
如果阿法狗可以自己产生无数棋谱，是否意味着它可以在很短时间内大幅提高能力？阿
法狗互下的棋谱和人类的棋谱对于机器学习来说效果应该不同。
前几年的deep learning好像还没这么厉害，最近的主要技术突破是否有本质的提高？
比如说以前的机器很好骗，但现在只能程度更高。当然还是有局限性。
【在 j****q 的大作中提到】
: 如果阿法狗可以自己产生无数棋谱，是否意味着它可以在很短时间内大幅提高能力？阿
: 法狗互下的棋谱和人类的棋谱对于机器学习来说效果应该不同。
: 前几年的deep learning好像还没这么厉害，最近的主要技术突破是否有本质的提高？
: 比如说以前的机器很好骗，但现在只能程度更高。当然还是有局限性。
|
j****q
发帖数: 12 | 7 Hinton改进的是新的技术？还是以前不可能被实现的技术，但是因为computer的进步现
在实现成为可能？
Deep learning现在主要能解决哪些以前无法解决的问题？
【在 H***F 的大作中提到】
: 按hinton的说法，以前神经网络名声臭大街，文章题目带神经网络的高级会议都不收。
: 后来他改进了方法，现在改头换面称deep learning，又热火了
:
: 如果阿法狗可以自己产生无数棋谱，是否意味着它可以在很短时间内大幅提高能力？阿
: 法狗互下的棋谱和人类的棋谱对于机器学习来说效果应该不同。
: 前几年的deep learning好像还没这么厉害，最近的主要技术突破是否有本质的提高？
: 比如说以前的机器很好骗，但现在只能程度更高。当然还是有局限性。
|
O********9
发帖数: 59 | 8 据我理解，Deep Learning不一定需要大数据支持。他所需的训练数据量比Shallow
Network要少得多。这是因为Deep Network具有强大的表达能力。假设一个DL有L层，每
层有N个节点。他的参数只有LN个。但是同样表达能力的Shallow Network需要N^L个节
点。这意味着训练数据量是O(LN)。这点类似于与或门电路。一个3层的电路(A+B)*(C+D
)*(E+F)展开有2^3＝8项。L层的电路（每层N个或门）展开有N^L项。
Deep Network训练的问题是它的目标函数是一个复杂的非线性函数，有很多局部最优点
，但不是全剧最优。所以用Gradient Decent更新参数的时候，很容易陷入局部最优点
出不来。而且越靠近网络前端的参数的导数越小，所以前几层收敛非常慢。Deep
Learning提出用unsupervised learning的方法先初始化网络参数，然后再用
supervised learning调节参数，使之收敛。这其中的思想是，我们先用unsupervised
learning的方法学习先验概率P(X)的结构（X是网络输入），然后再用supervised
learning的方法学习似然函数P(Y|X)的结构（Y是网络输出）。在很多问题中，P(Y|X)
的结构类似于P(X)，所以前者对后者是有帮助的。举个例子，在图像识别中，
unsupervised learning会从图像中抽象出很多feature，比如线条，轮廓。越靠近前端
的feature越简单，越靠近后端的feature越复杂。然后再用这些feature来识别图像。
回到楼上的问题，Deep Learning是一种思想，即使用unsupervised learning来改进
deep network的训练。当然计算机的进步，使得工业界开始运用DNN。相比于以前的技
术，它在图像识别，语音识别，自然语言识别上有所提高。但是要说它一定比SVM，
Ensemble Methods好，那也不一定。具体到某一个问题，还要所有的方法都试一遍。 |
m*****h
发帖数: 2292 | 9 如果不需要大数据支持，google就不需要多training三个月再挑战李世石了
主要还是因为理论问题没解决，需要多大的数据量没法说（目前成功的例子都需要大数
据支持）
这个并不是表达能力决定的，目前没有什么好的基础理论来解释
更新参数的这种所谓理论离基础理论还差很远
+D
unsupervised
【在 O********9 的大作中提到】
: 据我理解，Deep Learning不一定需要大数据支持。他所需的训练数据量比Shallow
: Network要少得多。这是因为Deep Network具有强大的表达能力。假设一个DL有L层，每
: 层有N个节点。他的参数只有LN个。但是同样表达能力的Shallow Network需要N^L个节
: 点。这意味着训练数据量是O(LN)。这点类似于与或门电路。一个3层的电路(A+B)*(C+D
: )*(E+F)展开有2^3＝8项。L层的电路（每层N个或门）展开有N^L项。
: Deep Network训练的问题是它的目标函数是一个复杂的非线性函数，有很多局部最优点
: ，但不是全剧最优。所以用Gradient Decent更新参数的时候，很容易陷入局部最优点
: 出不来。而且越靠近网络前端的参数的导数越小，所以前几层收敛非常慢。Deep
: Learning提出用unsupervised learning的方法先初始化网络参数，然后再用
: supervised learning调节参数，使之收敛。这其中的思想是，我们先用unsupervised
|
l*******m
发帖数: 1096 | 10 全靠试，没理论，所以要很多工程师，给很多工资。通信的理论牛吧，资本家都知道离
shannon极限近了，没必要投资了。
【在 m*****h 的大作中提到】
: 如果不需要大数据支持，google就不需要多training三个月再挑战李世石了
: 主要还是因为理论问题没解决，需要多大的数据量没法说（目前成功的例子都需要大数
: 据支持）
: 这个并不是表达能力决定的，目前没有什么好的基础理论来解释
: 更新参数的这种所谓理论离基础理论还差很远
:
: +D
: unsupervised
|
|
|
O********9
发帖数: 59 | 11 就围棋来说，训练策略网络确实需要很多专家下过的棋谱。但不代表所有的问题都需要
很多训练数据。今天看葵花宝典版大牛woshialex文章。他用CNN解决了Kaggle的“
Diagnose Heart Disease”问题，在192之参赛队伍中排第一。那里的训练数据也不过
13G，都可以装在手机里。
不过有一点我同意，确实没有什么太好的理论来解释DNN，很多参数选择都要靠经验。
不过这也是件好事，工程师可以靠经验混饭吃。如果所有的东西都有理论解释，那就不
需要工程师，编个程序自动计算所有的参数好了:)
【在 m*****h 的大作中提到】
: 如果不需要大数据支持，google就不需要多training三个月再挑战李世石了
: 主要还是因为理论问题没解决，需要多大的数据量没法说（目前成功的例子都需要大数
: 据支持）
: 这个并不是表达能力决定的，目前没有什么好的基础理论来解释
: 更新参数的这种所谓理论离基础理论还差很远
:
: +D
: unsupervised
|
m*****h
发帖数: 2292 | 12 心跳数据是不是本来就是bit level的，如果是那样的话13G bytes数据绝对是大数据了
而且排第一的准确率是多少？是不是已经高于专业医生了？这个应该是衡量成功的标准
【在 O********9 的大作中提到】
: 就围棋来说，训练策略网络确实需要很多专家下过的棋谱。但不代表所有的问题都需要
: 很多训练数据。今天看葵花宝典版大牛woshialex文章。他用CNN解决了Kaggle的“
: Diagnose Heart Disease”问题，在192之参赛队伍中排第一。那里的训练数据也不过
: 13G，都可以装在手机里。
: 不过有一点我同意，确实没有什么太好的理论来解释DNN，很多参数选择都要靠经验。
: 不过这也是件好事，工程师可以靠经验混饭吃。如果所有的东西都有理论解释，那就不
: 需要工程师，编个程序自动计算所有的参数好了:)
|
j****q
发帖数: 12 | 13 那是不是说只要有足够多的数据，机器可以非常的智能？如果人可以给机器提供比较合
理的参数，还需要这么大的数据量？
【在 m*****h 的大作中提到】
: 如果不需要大数据支持，google就不需要多training三个月再挑战李世石了
: 主要还是因为理论问题没解决，需要多大的数据量没法说（目前成功的例子都需要大数
: 据支持）
: 这个并不是表达能力决定的，目前没有什么好的基础理论来解释
: 更新参数的这种所谓理论离基础理论还差很远
:
: +D
: unsupervised
|
j****q
发帖数: 12 | 14 机器也可以学习工程师如何试的吧。一旦学会了，不久不需要工程师了？
【在 l*******m 的大作中提到】
: 全靠试，没理论，所以要很多工程师，给很多工资。通信的理论牛吧，资本家都知道离
: shannon极限近了，没必要投资了。
|
m*****h
发帖数: 2292 | 15 目前其实谈不上真正的“智能”
说穿了就是用一个有很多很多参数的复杂函数去拟合数据（因为太复杂，人没法直接给
出合理参数）
deep learning给定了一个函数结构（但还不能解释为什么这个函数结构是好的），然
后做的就是用大数据去决定参数
【在 j****q 的大作中提到】
: 那是不是说只要有足够多的数据，机器可以非常的智能？如果人可以给机器提供比较合
: 理的参数，还需要这么大的数据量？
|
