v*******e
发帖数: 1715 | 1 真有必要么？有意义么？看看最新的微软研究成果吧。
这玩意蒙外行真的有用。 但。。。。
我2005神经网络玩的很深，差点发明深度学习， --我写的NSF建议没批准，
2006别加拿大人发明。--这是美国的损失。 但美国应用马上跟上，
尤其是微软和谷歌。 我伯克利老板发文，深度学习真的是个事么？但淹没在
深度学习热潮。2015.。。。。终于这个风向有点变了。
深度学习，和其他，核心是复杂系统的参数优化过程和策略。这是一切的一切。
系统结构，单独看，都不是核心。
ASRU 2015
Invited and Keynote Speakers
Do Deep Nets Really Need To Be Deep?
Rich Caruana - Microsoft Research
Abstract:
Deep neural networks are the state of the art on problems such as speech
recognition and computer vision. Using a method called model compression, we
show that shallow nets can learn the complex functions previously learned
by deep nets and achieve accuracies previously only achievable with deep
models while using the same number of parameters as the original deep models
. On the TIMIT speech recognition and CIFAR-10 image recognition tasks,
shallow nets can be trained that perform similarly to complex, well-
engineered, deeper convolutional architectures. The same model compression
trick also can be used to compress impractically large deep models and
ensembles of large deep models down to small- or medium-size deep models
that run more efficiently on mobile devices or servers |
v*******e
发帖数: 1715 | 2 The results suggest
that the strength of deep learning may arise in part from a good match
between deep architectures
and current training procedures, and that it may be possible to devise
better learning algorithms to
train more accurate shallow feed-forward nets. For a given number of
parameters, depth may make
learning easier, but may not always be essential.
这才是DNN和SNN的真相。
如果学机器学习，或深度学习 神经网络，看懂这篇就明白了
https://papers.nips.cc/paper/5484-do-deep-nets-really-need-to-b
或者看懂他的introduction。
简单说就是：过去10年其实没啥大不了的进展。除了运算。
【在 v*******e 的大作中提到】
: 真有必要么？有意义么？看看最新的微软研究成果吧。
: 这玩意蒙外行真的有用。 但。。。。
: 我2005神经网络玩的很深，差点发明深度学习， --我写的NSF建议没批准，
: 2006别加拿大人发明。--这是美国的损失。 但美国应用马上跟上，
: 尤其是微软和谷歌。 我伯克利老板发文，深度学习真的是个事么？但淹没在
: 深度学习热潮。2015.。。。。终于这个风向有点变了。
: 深度学习，和其他，核心是复杂系统的参数优化过程和策略。这是一切的一切。
: 系统结构，单独看，都不是核心。
: ASRU 2015
: Invited and Keynote Speakers
|
y***i
发帖数: 11639 | 3 太好了。我会读读。
【在 v*******e 的大作中提到】
: The results suggest
: that the strength of deep learning may arise in part from a good match
: between deep architectures
: and current training procedures, and that it may be possible to devise
: better learning algorithms to
: train more accurate shallow feed-forward nets. For a given number of
: parameters, depth may make
: learning easier, but may not always be essential.
: 这才是DNN和SNN的真相。
: 如果学机器学习，或深度学习 神经网络，看懂这篇就明白了
|
v*******e
发帖数: 1715 | 4 学“深度学习”，不如看这篇，
看这篇，不如听我三句话。
【在 y***i 的大作中提到】
: 太好了。我会读读。
|
y***i
发帖数: 11639 | 5 哦，那要请教。请说。
【在 v*******e 的大作中提到】
: 学“深度学习”，不如看这篇，
: 看这篇，不如听我三句话。
|
v*******e
发帖数: 1715 | 6 核心就是没啥可说。
【在 y***i 的大作中提到】
: 哦，那要请教。请说。
|
y***i
发帖数: 11639 | 7 hehehe，我说过，神经元也没啥可说。
方法容易在这个问题上特别不重要。重要的是功能怎么样。
【在 v*******e 的大作中提到】
: 核心就是没啥可说。
|
v*******e
发帖数: 1715 | 8 。。。深度学习就是神经元。
多了几层，其实就是初始化和优化的方法好了点。
功能和过去比，其实也就提高个10-30%，没革命性突破。
我最近把这个领域论文看了看，庆幸过去10年我没继续搞那个--纯技术的发展太慢了。
而且真很无聊和不令人兴奋。 我相信搞技术的看到媒体和大众被忽悠起来了，心理
真的很乐。但诚实的学者也有说半拉实话的“其实没那么特别啦。。”，这是谷歌大脑
之父说的。
但计算机的运算力的确大大加速，尤其GPU的使用。 说白了就是蛮力更厉害了。
下围棋，其实怎么设计深度学习的策略非常重要--这才是人的智力！而不是深度学习
本身。看看相关论文就知道，妙在策略设计。
功能，关键是人理解错了围棋。
围棋和道相连，现在被下输了人就不理解了 。
。。。。这些懒的多说了。 都是很简单的事情。
机器可以做很多牛事情，甚至虚拟现实---但都是靠人的设计加运力，机理都很简单。
【在 y***i 的大作中提到】
: hehehe，我说过，神经元也没啥可说。
: 方法容易在这个问题上特别不重要。重要的是功能怎么样。
|
r*y
发帖数: 706 | 9 感觉你还是没抓到核心。。
layers of representations..这个应该是。。
【在 v*******e 的大作中提到】
: 真有必要么？有意义么？看看最新的微软研究成果吧。
: 这玩意蒙外行真的有用。 但。。。。
: 我2005神经网络玩的很深，差点发明深度学习， --我写的NSF建议没批准，
: 2006别加拿大人发明。--这是美国的损失。 但美国应用马上跟上，
: 尤其是微软和谷歌。 我伯克利老板发文，深度学习真的是个事么？但淹没在
: 深度学习热潮。2015.。。。。终于这个风向有点变了。
: 深度学习，和其他，核心是复杂系统的参数优化过程和策略。这是一切的一切。
: 系统结构，单独看，都不是核心。
: ASRU 2015
: Invited and Keynote Speakers
|
v*******e
发帖数: 1715 | 10 。。。。根本不是。
之时--多层可以用更少元器件（神经元）表达更复杂的函数。
layer很难说真正做到了抽象和分层的知识。--虽然大家如此猜测。
【在 r*y 的大作中提到】
: 感觉你还是没抓到核心。。
: layers of representations..这个应该是。。
|
r*y
发帖数: 706 | 11
我马上要出门明天有空会细谈。但是Layers of representation, layers 是修饰
representation的。
你忽略了R 而着重在 L。
【在 v*******e 的大作中提到】
: 。。。。根本不是。
: 之时--多层可以用更少元器件（神经元）表达更复杂的函数。
: layer很难说真正做到了抽象和分层的知识。--虽然大家如此猜测。
|
r*y
发帖数: 706 | 12 我对这个东西的认识也是摸索中。
从对生物系统和AI system 对比观察。representation 是个比较共通的，重要的部分。
你从函数角度说，不是不对，但是有一个能学习，适应的函数吗？所以DNN or DL 的
学习
能力也是重要，并区别于函数表达的地方。
【在 r*y 的大作中提到】
:
: 我马上要出门明天有空会细谈。但是Layers of representation, layers 是修饰
: representation的。
: 你忽略了R 而着重在 L。
|
