由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - CNN和template matching到底有啥区别
相关主题
请教图像识别的人工智能算法 (转载)[合集] 又被羞辱了一把... (转载)
有知道machine learning, data mining 的同学吗?Default function template arguments
如果数据少,是不是就不能用CNNC++ template problem
cnn大牛们,这种特征如何提取呢?一个C++ template的问题
cnn里面 maxout 不就是multiple template matching么C++ Q73: template (skillport) (转载)
从数据压缩角度理解CNNC++ Q90 - Q92 (转载)
a c++ question for templateC++ Q88: nested non-template class (转载)
[合集] 关于template和inheritance的问题请教C++ templates
相关话题的讨论汇总
话题: cnn话题: matching话题: template话题: learning话题: deep
进入Programming版参与讨论
1 (共1页)
L****8
发帖数: 3938
1
按照这个文章
https://www.cs.nyu.edu/~fergus/papers/zeilerECCV2014.pdf
直接设计一堆template 然后组装起来 不就行了
L****8
发帖数: 3938
2
http://yosinski.com/deepvis

【在 L****8 的大作中提到】
: 按照这个文章
: https://www.cs.nyu.edu/~fergus/papers/zeilerECCV2014.pdf
: 直接设计一堆template 然后组装起来 不就行了

a***y
发帖数: 852
3
HMAX就是这么想的,结果十几年了还是没搞成气候

【在 L****8 的大作中提到】
: 按照这个文章
: https://www.cs.nyu.edu/~fergus/papers/zeilerECCV2014.pdf
: 直接设计一堆template 然后组装起来 不就行了

w***g
发帖数: 5958
4
是template matching, 如果光从预测算法来看, 甚至还不如传统的template matching.
deep learning的template matching就是内积+threshold, 可以认为是最最最土的
template matching. 传统的template matching算法往往比这个复杂, 而且也更
robust, 比如允许一定程度上的warping. 有时候对象一抖, template就匹配不上了.
Deep learning的对应方法是redundancy, 搞好多好多templates. 这个匹配不上了,
那个或许能匹配上. 以上不是关键.
deep learning牛x的地方是能够训练这些template, 而且是:
1. 一锅子训练. (2012年以前是一层一层训练, 当时甚至认为要deep必须一层一层
训练, 现在看来是不对的.) 一锅子的好处是层与层之间是配套的. 解的是一个
全局最优化问题, 而不是一系列局部最优化问题然后拼起来.
(注意不是全剧最优解. 不管是全局问题还是局部问题, 往往都得不到最优解.
但是全局次优解也比一堆局部次优解拼起来强.)
2. 能够对着最终的measurement of sucess做discriminative training.
很多传统方法依赖于建模. 比如目标是X, 然后科学家拍脑子想象, 如果优化了Y
应该也能优化X, 然后对着Y去优化. 科学家拍脑子这个往往在理论上正确, 但是
实际上会有缺陷. 一般科学家的方法往往是现实问题的简化版, 只能处理90%的
情况. 如果有好多步, 每一步都只有90%, 那最终结果肯定不会太好.
比如deep learning之前的主流算法SIFT + spatial pyramid + SVM, 其实
也是一个多层算法:
1 SIFT: 这个本身可以看成一个三层网络. 只不过所有参数都是算法写死的.
不能train.
2. k-means clustering算visual word: 这一步是sparse coding, 有几个
cluster就有几个模版. 这个模版是根据clustering目标算出来的, 跟最终
accuracy没有直接关系.
3. spatial pyramid + SVM: 这个才是discriminative training. 但是到
这一步, 很多可能有用的原始图像信息已经被前两步干掉了.

【在 L****8 的大作中提到】
: 按照这个文章
: https://www.cs.nyu.edu/~fergus/papers/zeilerECCV2014.pdf
: 直接设计一堆template 然后组装起来 不就行了

c*******9
发帖数: 9032
5
这个讲的清楚。

matching.

【在 w***g 的大作中提到】
: 是template matching, 如果光从预测算法来看, 甚至还不如传统的template matching.
: deep learning的template matching就是内积+threshold, 可以认为是最最最土的
: template matching. 传统的template matching算法往往比这个复杂, 而且也更
: robust, 比如允许一定程度上的warping. 有时候对象一抖, template就匹配不上了.
: Deep learning的对应方法是redundancy, 搞好多好多templates. 这个匹配不上了,
: 那个或许能匹配上. 以上不是关键.
: deep learning牛x的地方是能够训练这些template, 而且是:
: 1. 一锅子训练. (2012年以前是一层一层训练, 当时甚至认为要deep必须一层一层
: 训练, 现在看来是不对的.) 一锅子的好处是层与层之间是配套的. 解的是一个
: 全局最优化问题, 而不是一系列局部最优化问题然后拼起来.

k****f
发帖数: 3794
6
最近流行的resnet,实在是太有用了,可以train很多层的网络,deep learning这种暴
力使用gpu算东西,还是非常强大的,

matching.

【在 w***g 的大作中提到】
: 是template matching, 如果光从预测算法来看, 甚至还不如传统的template matching.
: deep learning的template matching就是内积+threshold, 可以认为是最最最土的
: template matching. 传统的template matching算法往往比这个复杂, 而且也更
: robust, 比如允许一定程度上的warping. 有时候对象一抖, template就匹配不上了.
: Deep learning的对应方法是redundancy, 搞好多好多templates. 这个匹配不上了,
: 那个或许能匹配上. 以上不是关键.
: deep learning牛x的地方是能够训练这些template, 而且是:
: 1. 一锅子训练. (2012年以前是一层一层训练, 当时甚至认为要deep必须一层一层
: 训练, 现在看来是不对的.) 一锅子的好处是层与层之间是配套的. 解的是一个
: 全局最优化问题, 而不是一系列局部最优化问题然后拼起来.

r******y
发帖数: 3838
7
一锅子训练的论文是哪篇?看初级教材没看到这个。

matching.

【在 w***g 的大作中提到】
: 是template matching, 如果光从预测算法来看, 甚至还不如传统的template matching.
: deep learning的template matching就是内积+threshold, 可以认为是最最最土的
: template matching. 传统的template matching算法往往比这个复杂, 而且也更
: robust, 比如允许一定程度上的warping. 有时候对象一抖, template就匹配不上了.
: Deep learning的对应方法是redundancy, 搞好多好多templates. 这个匹配不上了,
: 那个或许能匹配上. 以上不是关键.
: deep learning牛x的地方是能够训练这些template, 而且是:
: 1. 一锅子训练. (2012年以前是一层一层训练, 当时甚至认为要deep必须一层一层
: 训练, 现在看来是不对的.) 一锅子的好处是层与层之间是配套的. 解的是一个
: 全局最优化问题, 而不是一系列局部最优化问题然后拼起来.

w***g
发帖数: 5958
8
没啥特定的论文. 一锅子指的是进去是原始图片, 出来就是最终结果.
如果直接就是学的CNN, 可能觉得事情本来就应该这样.
上古时期的算法要分好多步, 用不同的轮子, 经过好多中间结果才能出最终结果.

【在 r******y 的大作中提到】
: 一锅子训练的论文是哪篇?看初级教材没看到这个。
:
: matching.

c*******9
发帖数: 9032
9
cnn看起来很直观,不知道为什么出来这么晚。

【在 w***g 的大作中提到】
: 没啥特定的论文. 一锅子指的是进去是原始图片, 出来就是最终结果.
: 如果直接就是学的CNN, 可能觉得事情本来就应该这样.
: 上古时期的算法要分好多步, 用不同的轮子, 经过好多中间结果才能出最终结果.

w***g
发帖数: 5958
10
LeCUN 1998, Gradient-Based Learning Applied to Document Recognition
这个是CNN的经典paper. 这篇paper引用了一篇1989年的paper [2].
所以CNN这个思想最晚1989年就有了, CNN这个名字和gradient descent这种
训练方法最晚1998年就定型了. 我觉得不能叫出来晚.
只不过在之前的数据量和硬件上发挥不出威力.
搞神经网络的, 上世纪八九十年代已经捞过一轮钱了, 最后没deliver东西.
这一波其实是重新包装了一下而已, 理论没多大发展.

【在 c*******9 的大作中提到】
: cnn看起来很直观,不知道为什么出来这么晚。
L****8
发帖数: 3938
11
CNN 最近被打脸了 pia pia的
http://www.evolvingai.org/fooling

【在 w***g 的大作中提到】
: LeCUN 1998, Gradient-Based Learning Applied to Document Recognition
: 这个是CNN的经典paper. 这篇paper引用了一篇1989年的paper [2].
: 所以CNN这个思想最晚1989年就有了, CNN这个名字和gradient descent这种
: 训练方法最晚1998年就定型了. 我觉得不能叫出来晚.
: 只不过在之前的数据量和硬件上发挥不出威力.
: 搞神经网络的, 上世纪八九十年代已经捞过一轮钱了, 最后没deliver东西.
: 这一波其实是重新包装了一下而已, 理论没多大发展.

w***g
发帖数: 5958
12
这有啥奇怪的. 这么大的参数空间, 可不就随便找碴吗.
machine learning最基本的假设: testing data和training data
从同样的概率分布采样. 如果这条假设不能保证, 任何
machine learning都无从谈起.

【在 L****8 的大作中提到】
: CNN 最近被打脸了 pia pia的
: http://www.evolvingai.org/fooling

1 (共1页)
进入Programming版参与讨论
相关主题
C++ templatescnn里面 maxout 不就是multiple template matching么
iOS UI template with OC or Swift source code从数据压缩角度理解CNN
N个数字里面找出最大的5个数字的复杂度是什么?O(N)?a c++ question for template
最近内存加个飙升啊[合集] 关于template和inheritance的问题请教
请教图像识别的人工智能算法 (转载)[合集] 又被羞辱了一把... (转载)
有知道machine learning, data mining 的同学吗?Default function template arguments
如果数据少,是不是就不能用CNNC++ template problem
cnn大牛们,这种特征如何提取呢?一个C++ template的问题
相关话题的讨论汇总
话题: cnn话题: matching话题: template话题: learning话题: deep