c*******v
发帖数: 2599 | 1 【1】
How to Scale Up Kernel Methods to Be As Good As
Deep Neural Nets
https://arxiv.org/pdf/1411.4000.pdf
今天偶然看到一个文章，Page 19有个kernel法的表格。
不用任何别的技术，
他做出来的CIFAR 10的结果都是43%左右。
【2】
有另一个文章，把kernel方法，加上imagine相关的技术。
卷积，whitening，.....
CIFAR 10做到86.9
Imagnet 也可以做。做到了top 5有62% accuracy。
https://arxiv.org/abs/2101.07528
page 8
https://openreview.net/pdf?id=aYuZO9DIdnn
【问题讨论】
我前几年用non parametric的办法做过cifar 10。
当时记得也是45%左右，类似于[1]的结果。
那时候猜想是，加上
AlexNet论文里的卷积，还有诸多其他处理图像的技术，能提高不少。
因为我不做图像，所以就没做下去。
后来看到有convultion + kernel法：
https://papers.nips.cc/paper/2014/file/81ca0262c82e712e50c580c032d99b60-
Paper.pdf
【猜想】
现在的问题是，假如再过10年，kernel法（或者别的办法）加上卷积，
ZCA,patches,...,各种data augmentation，超过Alexnet的结果。
那是否可以说明，Neural Network其实并不重要，重要的是AlexNet文
章中的各种其他图像相关的技术（例如图像的data augmentation就有几十种）。
（我现在认为，最重要的是卷积。卷积于视觉类型的AI直接相关。）
【求文献】
我印象里几年前有一个用卷积的SVM文章，imagnet超过Alexnet文章的top 1了。
但找不着了，有人有印象吗？ |
m*********t
发帖数: 858 | 2 Top5 62% 很差了
五年前就远远超过了
cifar都几个世纪前的图集了
【在 c*******v 的大作中提到】
: 【1】
: How to Scale Up Kernel Methods to Be As Good As
: Deep Neural Nets
: https://arxiv.org/pdf/1411.4000.pdf
: 今天偶然看到一个文章，Page 19有个kernel法的表格。
: 不用任何别的技术，
: 他做出来的CIFAR 10的结果都是43%左右。
: 【2】
: 有另一个文章，把kernel方法，加上imagine相关的技术。
: 卷积，whitening，.....
|
c*******v
发帖数: 2599 | 3 这问题的研究是出于理论考虑。
Alexnet准确率达到了85%(之前一年我记得是70%左右)。
其tech stack有很多细节。
Alexnet的哪个ingredient是关键性的，（据我所知）至今未有完全解释。
不可无脑认为neural network是不可替代的。
假如Kernel(或者SVM)+卷积+boost+residual...能做到85%，
那就说明卷积作为视觉的domain specific tech，比neutal network重要。
因为后者是可以被替换的。卷积不是。
换言之，如果2012年的比赛，有人SVM/kernel+卷积...做到了85%，
这波AI也许就不是neural network了。
所以，有没有别的AI/ML办法可以match Alexnet？这个问题很重要。
最后，每个方法有自己的长处与短处。准确率不是唯一重要之测度。
【在 m*********t 的大作中提到】
: Top5 62% 很差了
: 五年前就远远超过了
: cifar都几个世纪前的图集了
|
m*********t
发帖数: 858 | 4 要考虑理论就去做理论解释
这种回头挖点过去的东西出来瞎实验不是理论
各种方法网络结构的组合无穷无尽
试的了那么多吗
【在 c*******v 的大作中提到】
: 这问题的研究是出于理论考虑。
: Alexnet准确率达到了85%(之前一年我记得是70%左右)。
: 其tech stack有很多细节。
: Alexnet的哪个ingredient是关键性的，（据我所知）至今未有完全解释。
: 不可无脑认为neural network是不可替代的。
: 假如Kernel(或者SVM)+卷积+boost+residual...能做到85%，
: 那就说明卷积作为视觉的domain specific tech，比neutal network重要。
: 因为后者是可以被替换的。卷积不是。
: 换言之，如果2012年的比赛，有人SVM/kernel+卷积...做到了85%，
: 这波AI也许就不是neural network了。
|
g****t
发帖数: 31659 | 5 Alexnet是这次AI潮流的起点。（印象里）紧接着1年内辛顿说服goog换了图片搜索引擎
。本版当时有人讲过此事。
假如你用别的办法match住了Alexnet ，那就说明neural network这个算法的起点是偶
然的。没有必然性。
——-因为别
的办法也可以做到同效果。
这当然不是随便挖点过去的东西。跟你说的网络结构替换组合什么的毫无关系。
这几个文章用的是
别的算法match ，没有DL网络结构那样的东西。
: 要考虑理论就去做理论解释
: 这种回头挖点过去的东西出来瞎实验不是理论
: 各种方法网络结构的组合无穷无尽
: 试的了那么多吗
【在 m*********t 的大作中提到】
: 要考虑理论就去做理论解释
: 这种回头挖点过去的东西出来瞎实验不是理论
: 各种方法网络结构的组合无穷无尽
: 试的了那么多吗
|
m*********t
发帖数: 858 | 6 起点当然是06年hinton的发现
我不是计算机的
但10年我就在用cuda来加速计算了
NVIDIA那时候就在布局
12年已经在烧了
引爆的原因是GPU加速和NVIDIA的cuda平台
alexnet添把柴火而已
你要回头去做kernel svm之类的不是不可以
但别人在上面试错了十几年才试出来DNN
你的机会连万分之一都没有
【在 g****t 的大作中提到】
: Alexnet是这次AI潮流的起点。（印象里）紧接着1年内辛顿说服goog换了图片搜索引擎
: 。本版当时有人讲过此事。
: 假如你用别的办法match住了Alexnet ，那就说明neural network这个算法的起点是偶
: 然的。没有必然性。
: ——-因为别
: 的办法也可以做到同效果。
: 这当然不是随便挖点过去的东西。跟你说的网络结构替换组合什么的毫无关系。
: 这几个文章用的是
: 别的算法match ，没有DL网络结构那样的东西。
:
|
m*********t
发帖数: 858 | 7 你要做理论就去看数学解释
这方面很难
有些数学和理论物理的人在做但没什么进展
你现在这种翻技术故纸堆行为只能浪费时间
【在 g****t 的大作中提到】
: Alexnet是这次AI潮流的起点。（印象里）紧接着1年内辛顿说服goog换了图片搜索引擎
: 。本版当时有人讲过此事。
: 假如你用别的办法match住了Alexnet ，那就说明neural network这个算法的起点是偶
: 然的。没有必然性。
: ——-因为别
: 的办法也可以做到同效果。
: 这当然不是随便挖点过去的东西。跟你说的网络结构替换组合什么的毫无关系。
: 这几个文章用的是
: 别的算法match ，没有DL网络结构那样的东西。
:
|
g****t
发帖数: 31659 | 8 写程序有两种，一种是有了context，在此之下写程序，这是最常见的。
这个办法，尤其东土出身的做题家，人人皆懂。
新手往往都不会意识到有个setup是做题的cause。
但是对于Context Makers而言,
从镜子里反过来看，则是没有不能提炼出新概念的程序。----哪怕再差的结果也一样,
这也是一种学问。垃圾股也能有高潮。
你所谓的万分之一的机会云云，指的是with respect to existing context,
用古代技术刷新题，当然讨不了好。
: 起点当然是06年hinton的发现
: 我不是计算机的
: 但10年我就在用cuda来加速计算了
: NVIDIA那时候就在布局
: 12年已经在烧了
: 引爆的原因是GPU加速和NVIDIA的cuda平台
: alexnet添把柴火而已
: 你要回头去做kernel svm之类的不是不可以
: 但别人在上面试错了十几年才试出来DNN
: 你的机会连万分之一都没有
【在 m*********t 的大作中提到】
: 你要做理论就去看数学解释
: 这方面很难
: 有些数学和理论物理的人在做但没什么进展
: 你现在这种翻技术故纸堆行为只能浪费时间
|
c*******v
发帖数: 2599 | 9 哪有做研究的人不看过去文献的，尤其是原始文献。
你这“翻故纸堆浪费时间之说”不妥啊。
【在 m*********t 的大作中提到】
: 你要做理论就去看数学解释
: 这方面很难
: 有些数学和理论物理的人在做但没什么进展
: 你现在这种翻技术故纸堆行为只能浪费时间
|
n******t
发帖数: 4406 | 10 我一直不懂google的圖片搜索引擎搞分類有什麼用嗎？我不需要google告訴我一隻貓的
圖片是一隻貓。
【在 g****t 的大作中提到】
: Alexnet是这次AI潮流的起点。（印象里）紧接着1年内辛顿说服goog换了图片搜索引擎
: 。本版当时有人讲过此事。
: 假如你用别的办法match住了Alexnet ，那就说明neural network这个算法的起点是偶
: 然的。没有必然性。
: ——-因为别
: 的办法也可以做到同效果。
: 这当然不是随便挖点过去的东西。跟你说的网络结构替换组合什么的毫无关系。
: 这几个文章用的是
: 别的算法match ，没有DL网络结构那样的东西。
:
|
g****t
发帖数: 31659 | 11 例如你想学cpp,要找个cpp 微信群加入。
就google:cpp 微信群 QR。
娱乐方面我也不知。比如你搜索：三星堆神树，直接出来图片?
之前google的图片搜索可以说无法使用。
换了引擎之后，立竿见影。第一页基本上都能找到。
具体来讲，怎么卖出去的，这可能谁也不知道。
记得我看amzon股东信，更早时 Jeff Bozos就讲ML/AI了。
【在 n******t 的大作中提到】
: 我一直不懂google的圖片搜索引擎搞分類有什麼用嗎？我不需要google告訴我一隻貓的
: 圖片是一隻貓。
|
n******t
发帖数: 4406 | 12 我其實是想說，這些看起來很花哨的東西，我看不出來對google的revenue有什麼實質
性影響。
【在 g****t 的大作中提到】
: 例如你想学cpp,要找个cpp 微信群加入。
: 就google:cpp 微信群 QR。
: 娱乐方面我也不知。比如你搜索：三星堆神树，直接出来图片?
: 之前google的图片搜索可以说无法使用。
: 换了引擎之后，立竿见影。第一页基本上都能找到。
: 具体来讲，怎么卖出去的，这可能谁也不知道。
: 记得我看amzon股东信，更早时 Jeff Bozos就讲ML/AI了。
|
c*******v
发帖数: 2599 | 13 也许能拉客，保护自己的market share？
说实话我也不知道这怎么回事。技术指标什么的其实都是很虚的。
辛顿怎么把公司卖出去的，这几家怎么拉起来AI这个潮流的，
在我能理解的东西之外啊。
一般资料讲的都是马后炮，
就跟nivida涨了二十倍之后股票版那些分析家类似。
【在 n******t 的大作中提到】
: 我其實是想說，這些看起來很花哨的東西，我看不出來對google的revenue有什麼實質
: 性影響。
|
h**********c
发帖数: 4120 | |
c*******v
发帖数: 2599 | 15 Link ?
【在 h**********c 的大作中提到】
: 我就愚蠢地勤快了一下
: 不知道怎么用手机贴图
|
