由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - 我来科普下深度学习的应用范围吧
相关主题
前途是光明的,道路是曲折的计算和学习根本就是两回事
问几个神经网络的问题简单说说这几年机器学习的形势 (转载)
胡扯几句什么叫Deep Learning入门卷积这东西真神了
volta一出,业余玩家都要玩完啦CNN做NLP工程多吗?
可微分编程[bssd] 广义相对论=>神经网络几何化?
区块链真正有意义的地方是有没有做sentiment analysis的,求思路
对于现在machine learning有个问题,请指教为什么说 lisp 是AI 的语言?
[bssd] Neural network as a programming languagemachine learning, neural network 为啥这几年火?
相关话题的讨论汇总
话题: 神经网络话题: 深度话题: 预测话题: 学习话题: 图片
进入Programming版参与讨论
1 (共1页)
w***g
发帖数: 5958
1
所谓“深度”,是特指训练三层以上的神经网络。小于三层就是浅的,大于三层就是深
的。
神经网络在90年代火过一阵,各种理论早就已经成熟了。back propagation的理论跟
网络深度是无关的,但实际运行的时候就是发现层数大于三的话就训练不上去。
所以相当长一段时间内神经网络在机器学习方面被SVM等“浅度”神经网络特例压得
抬不起头。90年代神经网络拿funding得时候,应该把深浅网络都promise了拿过一遍
钱了。
然后没有deliver,并且把整个人工智能得名声都搞臭了。现在把训练深度网络的问题
部分解决了,需要旧瓶装新酒再拿一次钱。因为“神经网络”的名声已经臭了,
所以造出来“深度学习”这个概念来乎悠人。
(CNN的经典论文LeCun 1998 Gradient-based learning applied to document
recognition.)
然后来说这个“部分解决”的问题。现在深度网络可以训练了,不是理论有了突破,
而是靠的大数据+快硬件。如果按传统的机器学习套路,一个对象先提取一个特征,
然后应用学习算法,这个数据量其实还是不够大的。各种深度学习的一个典型特征
就是convolution,或者说是sliding window。一个400x400的图片,用40x40的
sliding window扫过去,每隔4个pixel采一次样,就能出来快100个样本。
如果有1,000,000个图片,其实这种window就有100M个。如果是图片的话一般
还需要对输入图片进行各种抖动产生更多的样本。
除了图片以外,深度学习应用范围都有一个明显的特征,就是可以做sliding window:
从大对象里掐下来局部的一小片,还是一个对象。比如声音,文本,序列。
不是说神经网络对别的数据不干活,而是在别的数据上神经网络对传统技术没那么大
的优势。股票数据是典型的时间序列,所以是落在神经网络的应用范围内的,所以
可以比较肯定地说,神经网络预测股票价格要比别的机器学习技术要强。至于是否能
干活,依赖一个大前提,就是股市本身得是可以预测的。图片,语音啥的,人能
识别,所以明显是可以预测的,所以神经网络干活了。股市在多大程度上可以预测,
这个本身就是一个大问题。
d******e
发帖数: 2265
2
神经网络不可能预测股市。
这个是game theory的地盘。
你必须知道对手的BDI,才能采取策略。
神经网络解决简单的模式识别问题。解决 sensing,运动,感知就够了。剔出特征。深
层的东西还是要
更传统的AI搞定。

【在 w***g 的大作中提到】
: 所谓“深度”,是特指训练三层以上的神经网络。小于三层就是浅的,大于三层就是深
: 的。
: 神经网络在90年代火过一阵,各种理论早就已经成熟了。back propagation的理论跟
: 网络深度是无关的,但实际运行的时候就是发现层数大于三的话就训练不上去。
: 所以相当长一段时间内神经网络在机器学习方面被SVM等“浅度”神经网络特例压得
: 抬不起头。90年代神经网络拿funding得时候,应该把深浅网络都promise了拿过一遍
: 钱了。
: 然后没有deliver,并且把整个人工智能得名声都搞臭了。现在把训练深度网络的问题
: 部分解决了,需要旧瓶装新酒再拿一次钱。因为“神经网络”的名声已经臭了,
: 所以造出来“深度学习”这个概念来乎悠人。

x***4
发帖数: 1815
3
同意!
我觉得主要是现在的数据比以前多很多,硬件gpu同时也跟上了。

【在 w***g 的大作中提到】
: 所谓“深度”,是特指训练三层以上的神经网络。小于三层就是浅的,大于三层就是深
: 的。
: 神经网络在90年代火过一阵,各种理论早就已经成熟了。back propagation的理论跟
: 网络深度是无关的,但实际运行的时候就是发现层数大于三的话就训练不上去。
: 所以相当长一段时间内神经网络在机器学习方面被SVM等“浅度”神经网络特例压得
: 抬不起头。90年代神经网络拿funding得时候,应该把深浅网络都promise了拿过一遍
: 钱了。
: 然后没有deliver,并且把整个人工智能得名声都搞臭了。现在把训练深度网络的问题
: 部分解决了,需要旧瓶装新酒再拿一次钱。因为“神经网络”的名声已经臭了,
: 所以造出来“深度学习”这个概念来乎悠人。

N*****m
发帖数: 42603
4
赞干货

【在 w***g 的大作中提到】
: 所谓“深度”,是特指训练三层以上的神经网络。小于三层就是浅的,大于三层就是深
: 的。
: 神经网络在90年代火过一阵,各种理论早就已经成熟了。back propagation的理论跟
: 网络深度是无关的,但实际运行的时候就是发现层数大于三的话就训练不上去。
: 所以相当长一段时间内神经网络在机器学习方面被SVM等“浅度”神经网络特例压得
: 抬不起头。90年代神经网络拿funding得时候,应该把深浅网络都promise了拿过一遍
: 钱了。
: 然后没有deliver,并且把整个人工智能得名声都搞臭了。现在把训练深度网络的问题
: 部分解决了,需要旧瓶装新酒再拿一次钱。因为“神经网络”的名声已经臭了,
: 所以造出来“深度学习”这个概念来乎悠人。

a*f
发帖数: 1790
5
back propagation加上一个biaz输入能暴力拟合的原理是什么?training的过程感觉是
反复迭代,如果迭代结果和实际数据的均方差不收敛怎么处理?这种过程有没有数学手
段分析其有效性?
w***g
发帖数: 5958
6
围棋也是game theory,现在神经网络也号称用上了。
我对股市的理解:股市基本上是一个multi-scale massive multi-player game。
这个游戏在任意时间scale上,都有很多人在玩。如果众多玩家中使用最优策略
的玩家数量超过一定的阈值,这个游戏的走向就会变得不可预测。
(Boosting理论:足够多的傻B玩家,这些傻B玩家如果每个人能比随机乱猜
好哪怕一星星点,足够多的傻B玩家合起来就能顶得上超级玩家。
所以玩的人多,钱就不好赚。)
想赚钱,就得找到一个使用最优策略玩家少的时间scale。一个办法就是利用
系统门槛,在极小的时间scale上玩high frequency trading。
如果你的scale比所有人小,那么这个scale上就只有你一个人玩,钱就
容易赚。

【在 d******e 的大作中提到】
: 神经网络不可能预测股市。
: 这个是game theory的地盘。
: 你必须知道对手的BDI,才能采取策略。
: 神经网络解决简单的模式识别问题。解决 sensing,运动,感知就够了。剔出特征。深
: 层的东西还是要
: 更传统的AI搞定。

a*f
发帖数: 1790
7
三层算深度吗?一层input, 一层hidden,一层output。如果hidden>1就不容易训练了
是吗?

【在 w***g 的大作中提到】
: 所谓“深度”,是特指训练三层以上的神经网络。小于三层就是浅的,大于三层就是深
: 的。
: 神经网络在90年代火过一阵,各种理论早就已经成熟了。back propagation的理论跟
: 网络深度是无关的,但实际运行的时候就是发现层数大于三的话就训练不上去。
: 所以相当长一段时间内神经网络在机器学习方面被SVM等“浅度”神经网络特例压得
: 抬不起头。90年代神经网络拿funding得时候,应该把深浅网络都promise了拿过一遍
: 钱了。
: 然后没有deliver,并且把整个人工智能得名声都搞臭了。现在把训练深度网络的问题
: 部分解决了,需要旧瓶装新酒再拿一次钱。因为“神经网络”的名声已经臭了,
: 所以造出来“深度学习”这个概念来乎悠人。

w***g
发帖数: 5958
8
已经从数学上证明:
1:神经网络能拟合任意数学函数
2:recursive神经网络能模拟图灵机。
这两点是这么多人前赴后继地折腾这个技术的理论支持。数学分析多得很。
机器学习这个领域其实一直是做系统的牛于数学分析。在好的数学,不干活就是没用。
几个响当当的算法,比如boosting, naive bayes啥的名气都是建立在解决实际
问题上的。现在再回过头来看,naive bayes (boosting)没啥了不起的,
垃圾邮件监测(人脸识别)也不一定非要用naive bayes (boosting)来做,如果光看
推公式是没法理解这些算法的业界地位的。业界地位就是第一个解决某问题的系统
用了某方法,而不是某方法在数学上有啥独到之处。

【在 a*f 的大作中提到】
: back propagation加上一个biaz输入能暴力拟合的原理是什么?training的过程感觉是
: 反复迭代,如果迭代结果和实际数据的均方差不收敛怎么处理?这种过程有没有数学手
: 段分析其有效性?

d******e
发帖数: 2265
9
no.围棋是problem space恒定的就是很大而已。暴力算好了。
股市是非线性dynamic。或者说90年代另外一门显学 chaotic 的。
你必须计算对手的心理突变点,然后找到冒险点。
如果暴力算一定找最优策略,结果很现实,有效市场, 谁也不要赚钱,活着说买sp
500。
都是常识不需要机器学习了。

【在 w***g 的大作中提到】
: 围棋也是game theory,现在神经网络也号称用上了。
: 我对股市的理解:股市基本上是一个multi-scale massive multi-player game。
: 这个游戏在任意时间scale上,都有很多人在玩。如果众多玩家中使用最优策略
: 的玩家数量超过一定的阈值,这个游戏的走向就会变得不可预测。
: (Boosting理论:足够多的傻B玩家,这些傻B玩家如果每个人能比随机乱猜
: 好哪怕一星星点,足够多的傻B玩家合起来就能顶得上超级玩家。
: 所以玩的人多,钱就不好赚。)
: 想赚钱,就得找到一个使用最优策略玩家少的时间scale。一个办法就是利用
: 系统门槛,在极小的时间scale上玩high frequency trading。
: 如果你的scale比所有人小,那么这个scale上就只有你一个人玩,钱就

w***g
发帖数: 5958
10
你说的对, hidden > 1就不容易训练。

【在 a*f 的大作中提到】
: 三层算深度吗?一层input, 一层hidden,一层output。如果hidden>1就不容易训练了
: 是吗?

相关主题
区块链真正有意义的地方是计算和学习根本就是两回事
对于现在machine learning有个问题,请指教简单说说这几年机器学习的形势 (转载)
[bssd] Neural network as a programming language卷积这东西真神了
进入Programming版参与讨论
w***g
发帖数: 5958
11
我要说的就是有效市场不可预测。
你说的似乎跟做庄有关系。做庄是反有效市场的。所以有人做庄,
市场反而会变得可以预测。和HFT独立的一个找玩家个数少的
scale的办法就是identify有做庄迹象的个股,然后预测庄家行为。

【在 d******e 的大作中提到】
: no.围棋是problem space恒定的就是很大而已。暴力算好了。
: 股市是非线性dynamic。或者说90年代另外一门显学 chaotic 的。
: 你必须计算对手的心理突变点,然后找到冒险点。
: 如果暴力算一定找最优策略,结果很现实,有效市场, 谁也不要赚钱,活着说买sp
: 500。
: 都是常识不需要机器学习了。

l*******m
发帖数: 1096
12
深度学习的定义本身就很模糊。word2vec从层数上讲不够,但是被列为DL在NLP的重要
应用

【在 w***g 的大作中提到】
: 所谓“深度”,是特指训练三层以上的神经网络。小于三层就是浅的,大于三层就是深
: 的。
: 神经网络在90年代火过一阵,各种理论早就已经成熟了。back propagation的理论跟
: 网络深度是无关的,但实际运行的时候就是发现层数大于三的话就训练不上去。
: 所以相当长一段时间内神经网络在机器学习方面被SVM等“浅度”神经网络特例压得
: 抬不起头。90年代神经网络拿funding得时候,应该把深浅网络都promise了拿过一遍
: 钱了。
: 然后没有deliver,并且把整个人工智能得名声都搞臭了。现在把训练深度网络的问题
: 部分解决了,需要旧瓶装新酒再拿一次钱。因为“神经网络”的名声已经臭了,
: 所以造出来“深度学习”这个概念来乎悠人。

l*******m
发帖数: 1096
13
我认为股市在统计上是可以预测的,但是很难赚钱,因为预测失误时都是十分大的loss。

【在 d******e 的大作中提到】
: no.围棋是problem space恒定的就是很大而已。暴力算好了。
: 股市是非线性dynamic。或者说90年代另外一门显学 chaotic 的。
: 你必须计算对手的心理突变点,然后找到冒险点。
: 如果暴力算一定找最优策略,结果很现实,有效市场, 谁也不要赚钱,活着说买sp
: 500。
: 都是常识不需要机器学习了。

T********i
发帖数: 2416
14
昨天还和聊这个问题。RNN能模拟图灵机是90年代中期证明了的。不知道为啥花了这么
多年才火起来?
这个模拟图灵机是无限逼近。机理完全不同。图灵机内存是无限的。RNN模拟的代价是
什么?如何估计?这方面有论文么?是不是最后陷入堆机器的邪路?
据说谷歌的神经图灵机,只完成一项简单任务,拷贝字符串。
话说回来,真模拟成了又如何?假定模拟出一个完美大脑,样样都比人强。而且没有神
经病。用来干啥?搞不好还要训练它成一个程序员来写图灵机程序。。。
w***g
发帖数: 5958
15
数学上能证明可行的事情有很多,很多idea几十年前都已经被写成paper发出来了。
但是写paper的人自己不会去绞尽脑汁把系统做出来,或者说其实就是绞尽脑汁
其实也做不出来。爱因斯坦语言的引力波过了100年整才被观测到。无非也就是系统
最近做成了而已。实现上有很多engineering的困难是跟数学证明没啥关系的。
东西做成了再回过头来看,发现paper其实早被发过了,
再推广一下理论,其实发现牛顿柏努力那时候就已经早研究清楚了。
没啥奇怪的。但是给你一堆paper,证明都是对的,要挑出来一篇做成系统其实
非常难。
神经网络最后超过人脑,电脑控制机器,发展出self-reproducing machine,
飞出地球,指数增长,耗尽宇宙资源,最大化全宇宙的entropy。基本上我觉得
就是这个过程。

【在 T********i 的大作中提到】
: 昨天还和聊这个问题。RNN能模拟图灵机是90年代中期证明了的。不知道为啥花了这么
: 多年才火起来?
: 这个模拟图灵机是无限逼近。机理完全不同。图灵机内存是无限的。RNN模拟的代价是
: 什么?如何估计?这方面有论文么?是不是最后陷入堆机器的邪路?
: 据说谷歌的神经图灵机,只完成一项简单任务,拷贝字符串。
: 话说回来,真模拟成了又如何?假定模拟出一个完美大脑,样样都比人强。而且没有神
: 经病。用来干啥?搞不好还要训练它成一个程序员来写图灵机程序。。。

T********i
发帖数: 2416
16
这个神经网,最大的问题是搞不明白到底咋工作的。用流行语言讲就是理都懂,然并卵。
就像你说的是工程问题。训练以后得到一堆解析解。费那么大劲造一个图灵机只能拷贝
字符串。离超过大脑还远去了。
我加入两个NLP群已经很久了。那个领域剩下的也都是硬骨头。不知道多久才能啃得动?
其实人工智能为啥要处处去模仿人?视觉听觉都专注人类感知的频谱。语言也要能理解
人类语言。貌似现在的动力就是要取代人。这是这个人剥削人人压迫人的社会的最大的
需求。
其实,退一步,造一个比人类有进化优势,能够分分钟干掉人类的机器,要容易多了。

【在 w***g 的大作中提到】
: 数学上能证明可行的事情有很多,很多idea几十年前都已经被写成paper发出来了。
: 但是写paper的人自己不会去绞尽脑汁把系统做出来,或者说其实就是绞尽脑汁
: 其实也做不出来。爱因斯坦语言的引力波过了100年整才被观测到。无非也就是系统
: 最近做成了而已。实现上有很多engineering的困难是跟数学证明没啥关系的。
: 东西做成了再回过头来看,发现paper其实早被发过了,
: 再推广一下理论,其实发现牛顿柏努力那时候就已经早研究清楚了。
: 没啥奇怪的。但是给你一堆paper,证明都是对的,要挑出来一篇做成系统其实
: 非常难。
: 神经网络最后超过人脑,电脑控制机器,发展出self-reproducing machine,
: 飞出地球,指数增长,耗尽宇宙资源,最大化全宇宙的entropy。基本上我觉得

T********i
发帖数: 2416
17
其实理论简单多了。人类目前所有的知识,理论上编码一个正整数就都表达了。就是图
灵机tape上写一行而已。推理规则也容易得很。
但是工程上实现,咱们这辈子能不能看得着?不好说。我不是很乐观。
S****8
发帖数: 401
18
是这个道理哈哈

【在 w***g 的大作中提到】
: 数学上能证明可行的事情有很多,很多idea几十年前都已经被写成paper发出来了。
: 但是写paper的人自己不会去绞尽脑汁把系统做出来,或者说其实就是绞尽脑汁
: 其实也做不出来。爱因斯坦语言的引力波过了100年整才被观测到。无非也就是系统
: 最近做成了而已。实现上有很多engineering的困难是跟数学证明没啥关系的。
: 东西做成了再回过头来看,发现paper其实早被发过了,
: 再推广一下理论,其实发现牛顿柏努力那时候就已经早研究清楚了。
: 没啥奇怪的。但是给你一堆paper,证明都是对的,要挑出来一篇做成系统其实
: 非常难。
: 神经网络最后超过人脑,电脑控制机器,发展出self-reproducing machine,
: 飞出地球,指数增长,耗尽宇宙资源,最大化全宇宙的entropy。基本上我觉得

T*******x
发帖数: 8565
19
受教。谢谢。

【在 w***g 的大作中提到】
: 所谓“深度”,是特指训练三层以上的神经网络。小于三层就是浅的,大于三层就是深
: 的。
: 神经网络在90年代火过一阵,各种理论早就已经成熟了。back propagation的理论跟
: 网络深度是无关的,但实际运行的时候就是发现层数大于三的话就训练不上去。
: 所以相当长一段时间内神经网络在机器学习方面被SVM等“浅度”神经网络特例压得
: 抬不起头。90年代神经网络拿funding得时候,应该把深浅网络都promise了拿过一遍
: 钱了。
: 然后没有deliver,并且把整个人工智能得名声都搞臭了。现在把训练深度网络的问题
: 部分解决了,需要旧瓶装新酒再拿一次钱。因为“神经网络”的名声已经臭了,
: 所以造出来“深度学习”这个概念来乎悠人。

l*********s
发帖数: 5409
20
谢谢楼主,学习了
相关主题
CNN做NLP工程多吗?为什么说 lisp 是AI 的语言?
[bssd] 广义相对论=>神经网络几何化?machine learning, neural network 为啥这几年火?
有没有做sentiment analysis的,求思路这个总结的 ai 最新趋势真不错
进入Programming版参与讨论
d*******r
发帖数: 3299
21
所以做了一段时间research后,特烦学校里有些paper,没几句人话,全是堆公式。
费老大劲看懂后,发觉就是带着你绕,基本没啥干货,更没啥用...

【在 w***g 的大作中提到】
: 已经从数学上证明:
: 1:神经网络能拟合任意数学函数
: 2:recursive神经网络能模拟图灵机。
: 这两点是这么多人前赴后继地折腾这个技术的理论支持。数学分析多得很。
: 机器学习这个领域其实一直是做系统的牛于数学分析。在好的数学,不干活就是没用。
: 几个响当当的算法,比如boosting, naive bayes啥的名气都是建立在解决实际
: 问题上的。现在再回过头来看,naive bayes (boosting)没啥了不起的,
: 垃圾邮件监测(人脸识别)也不一定非要用naive bayes (boosting)来做,如果光看
: 推公式是没法理解这些算法的业界地位的。业界地位就是第一个解决某问题的系统
: 用了某方法,而不是某方法在数学上有啥独到之处。

s******3
发帖数: 344
22
re

【在 w***g 的大作中提到】
: 所谓“深度”,是特指训练三层以上的神经网络。小于三层就是浅的,大于三层就是深
: 的。
: 神经网络在90年代火过一阵,各种理论早就已经成熟了。back propagation的理论跟
: 网络深度是无关的,但实际运行的时候就是发现层数大于三的话就训练不上去。
: 所以相当长一段时间内神经网络在机器学习方面被SVM等“浅度”神经网络特例压得
: 抬不起头。90年代神经网络拿funding得时候,应该把深浅网络都promise了拿过一遍
: 钱了。
: 然后没有deliver,并且把整个人工智能得名声都搞臭了。现在把训练深度网络的问题
: 部分解决了,需要旧瓶装新酒再拿一次钱。因为“神经网络”的名声已经臭了,
: 所以造出来“深度学习”这个概念来乎悠人。

c*****w
发帖数: 50
23
代价是无限的浮点数精度

【在 T********i 的大作中提到】
: 昨天还和聊这个问题。RNN能模拟图灵机是90年代中期证明了的。不知道为啥花了这么
: 多年才火起来?
: 这个模拟图灵机是无限逼近。机理完全不同。图灵机内存是无限的。RNN模拟的代价是
: 什么?如何估计?这方面有论文么?是不是最后陷入堆机器的邪路?
: 据说谷歌的神经图灵机,只完成一项简单任务,拷贝字符串。
: 话说回来,真模拟成了又如何?假定模拟出一个完美大脑,样样都比人强。而且没有神
: 经病。用来干啥?搞不好还要训练它成一个程序员来写图灵机程序。。。

y******e
发帖数: 5906
24
CNN只是其中的一种模型吧,处理图片声音视频音频效果好。
还有RBM,DBN之类的。
最开始Deep learning就给了个大致的框架出来,两年多前加拿大那老头儿是保密了的
,我看了半天也没办法复原他的详细算法,不晓得现在解密了没有。Deep learning本
质还是NN的。和BP有相似的地方,但比BP更强大。

【在 w***g 的大作中提到】
: 所谓“深度”,是特指训练三层以上的神经网络。小于三层就是浅的,大于三层就是深
: 的。
: 神经网络在90年代火过一阵,各种理论早就已经成熟了。back propagation的理论跟
: 网络深度是无关的,但实际运行的时候就是发现层数大于三的话就训练不上去。
: 所以相当长一段时间内神经网络在机器学习方面被SVM等“浅度”神经网络特例压得
: 抬不起头。90年代神经网络拿funding得时候,应该把深浅网络都promise了拿过一遍
: 钱了。
: 然后没有deliver,并且把整个人工智能得名声都搞臭了。现在把训练深度网络的问题
: 部分解决了,需要旧瓶装新酒再拿一次钱。因为“神经网络”的名声已经臭了,
: 所以造出来“深度学习”这个概念来乎悠人。

c****x
发帖数: 6601
25
1998年就有的东西,18年后才翻身,真是不容易啊。

【在 w***g 的大作中提到】
: 所谓“深度”,是特指训练三层以上的神经网络。小于三层就是浅的,大于三层就是深
: 的。
: 神经网络在90年代火过一阵,各种理论早就已经成熟了。back propagation的理论跟
: 网络深度是无关的,但实际运行的时候就是发现层数大于三的话就训练不上去。
: 所以相当长一段时间内神经网络在机器学习方面被SVM等“浅度”神经网络特例压得
: 抬不起头。90年代神经网络拿funding得时候,应该把深浅网络都promise了拿过一遍
: 钱了。
: 然后没有deliver,并且把整个人工智能得名声都搞臭了。现在把训练深度网络的问题
: 部分解决了,需要旧瓶装新酒再拿一次钱。因为“神经网络”的名声已经臭了,
: 所以造出来“深度学习”这个概念来乎悠人。

P**H
发帖数: 1897
26
是06年的东西。也不知今年才翻的。11-12年左右,就开始抬头了。这次是要借alpha
go再炒炒。
应用就是LZ说的,图像分类,语音识别,文字识别。其他目前没看出有什么优势。

【在 c****x 的大作中提到】
: 1998年就有的东西,18年后才翻身,真是不容易啊。
p**2
发帖数: 613
27
不觉明厉,有空再把各类名词解释看看。
a*f
发帖数: 1790
28
DL是不是也算BP一种,只是activation function和learning和传统BP有区别?

【在 y******e 的大作中提到】
: CNN只是其中的一种模型吧,处理图片声音视频音频效果好。
: 还有RBM,DBN之类的。
: 最开始Deep learning就给了个大致的框架出来,两年多前加拿大那老头儿是保密了的
: ,我看了半天也没办法复原他的详细算法,不晓得现在解密了没有。Deep learning本
: 质还是NN的。和BP有相似的地方,但比BP更强大。

P******X
发帖数: 482
29
哈哈,是你几个月前吹乎人工智能的吧。
除了大数据+快硬件这部分都是一个码农的臆想。谁告诉你理论没突破的。这一波是多
伦多老头Hinton搞出来的。人家是学实验心理学出身的,对最根本的统计和优化概念都
有严格深
入的理解。他搞的这套跟八,九十年代的深井网没啥关系,只是表面像而已。码农这点
眼界不要乱说。你即然提了LeCun,干嘛不看看他这几年在搞啥。
鼓票难测是因为花街投资人追捧的是未来潜力。过去和现在的业绩啥的都是皮。码农也
好理工男也好,好歹看看金融101,再找个实际在花街做analyst给你讲将人家都咋想的
再来扯。当然现在鼓票都有每分钟的数据,正好分析,但现有的理论和工具可没啥大用
。新的有用的有人搞。不告速你
f******2
发帖数: 2455
30
股票预测不应该(纯粹)是time series分析,应该是很多信号的总和,比如报纸,tv
的sentiment等信号,人员变动等indicator。
换句话说,dl能否做,fundamentals 的预测和评估,而不是day trading这种和人斗争
的game theory

【在 P******X 的大作中提到】
: 哈哈,是你几个月前吹乎人工智能的吧。
: 除了大数据+快硬件这部分都是一个码农的臆想。谁告诉你理论没突破的。这一波是多
: 伦多老头Hinton搞出来的。人家是学实验心理学出身的,对最根本的统计和优化概念都
: 有严格深
: 入的理解。他搞的这套跟八,九十年代的深井网没啥关系,只是表面像而已。码农这点
: 眼界不要乱说。你即然提了LeCun,干嘛不看看他这几年在搞啥。
: 鼓票难测是因为花街投资人追捧的是未来潜力。过去和现在的业绩啥的都是皮。码农也
: 好理工男也好,好歹看看金融101,再找个实际在花街做analyst给你讲将人家都咋想的
: 再来扯。当然现在鼓票都有每分钟的数据,正好分析,但现有的理论和工具可没啥大用
: 。新的有用的有人搞。不告速你

相关主题
深度学习真正有实用价值的应用问几个神经网络的问题
full stack马工算个几把毛,还不是被你们嘲笑的臭教书的管着胡扯几句什么叫Deep Learning入门
前途是光明的,道路是曲折的volta一出,业余玩家都要玩完啦
进入Programming版参与讨论
a*f
发帖数: 1790
31
learning的过程好像就是在下面类似一个MSE的3D mesh上面选择一条路径。选好了就能
找到一个MSE极小值。
如果有统计的方法能主动指导learning的方向就好了

【在 w***g 的大作中提到】
: 所谓“深度”,是特指训练三层以上的神经网络。小于三层就是浅的,大于三层就是深
: 的。
: 神经网络在90年代火过一阵,各种理论早就已经成熟了。back propagation的理论跟
: 网络深度是无关的,但实际运行的时候就是发现层数大于三的话就训练不上去。
: 所以相当长一段时间内神经网络在机器学习方面被SVM等“浅度”神经网络特例压得
: 抬不起头。90年代神经网络拿funding得时候,应该把深浅网络都promise了拿过一遍
: 钱了。
: 然后没有deliver,并且把整个人工智能得名声都搞臭了。现在把训练深度网络的问题
: 部分解决了,需要旧瓶装新酒再拿一次钱。因为“神经网络”的名声已经臭了,
: 所以造出来“深度学习”这个概念来乎悠人。

c******r
发帖数: 300
32
dl这些说白了就是个强大的fitter,预测股票这种signal to noise小的东西用不好就
是overfitting,这就是为啥一般金融公司不招寸码工做预测模型

tv

【在 f******2 的大作中提到】
: 股票预测不应该(纯粹)是time series分析,应该是很多信号的总和,比如报纸,tv
: 的sentiment等信号,人员变动等indicator。
: 换句话说,dl能否做,fundamentals 的预测和评估,而不是day trading这种和人斗争
: 的game theory

1 (共1页)
进入Programming版参与讨论
相关主题
machine learning, neural network 为啥这几年火?可微分编程
这个总结的 ai 最新趋势真不错区块链真正有意义的地方是
深度学习真正有实用价值的应用对于现在machine learning有个问题,请指教
full stack马工算个几把毛,还不是被你们嘲笑的臭教书的管着[bssd] Neural network as a programming language
前途是光明的,道路是曲折的计算和学习根本就是两回事
问几个神经网络的问题简单说说这几年机器学习的形势 (转载)
胡扯几句什么叫Deep Learning入门卷积这东西真神了
volta一出,业余玩家都要玩完啦CNN做NLP工程多吗?
相关话题的讨论汇总
话题: 神经网络话题: 深度话题: 预测话题: 学习话题: 图片