|
|
g****t
发帖数: 31659 | 3 你没做过mnist吧？
1和7你如果全弄对了，0和9也全对了，那
几乎可以肯定overfitting了
我记得Ambitions image在yann的文章也有提及。不是啥新鲜事.
写文章这样可以。卖是不行的。
给你0加个小缺口说不定就废了
: mnist的标记是仔细做的，基本不需要考虑错误，一个数字是几取决于写
的时候
人想的
: 是几
: 神经网络搞mnist基本是不研究数据本身只微调参数和结构啊
|
|
C*****5
发帖数: 8812 | 4 看了Reddit ML上的讨论，评价似乎不高啊。瞄了一眼文章，基本上就是个dropout
和剪枝的方法，
作者也没啥底气，就用了个mnist dataset，估计是最简单的MLP网络？能不能推广到更
复杂的网络还存疑。用wdong大牛的话来说，只用mnist dataset的文章都可以不用看。
具体的还是请wdong大牛来评价吧。
另外对science daily这种软文要Take it with a grain of salt。这种都是学校发的
press release 然后 science daily转载的。水分多的很。
deep-
driving |
|
x****u
发帖数: 44466 | 5 mnist的标记是仔细做的，基本不需要考虑错误，一个数字是几取决于写的时候人想的
是几
神经网络搞mnist基本是不研究数据本身只微调参数和结构啊 |
|
g****t
发帖数: 31659 | 6 90%我只是举个例子。
你要调试过自己写的 mnist算法就会发现问题了。
相当一部分label如果让很多人来给，统计是不会稳定到那么高的。
我之前自己发明了个野鸡算法，失败的例子调出来看过，
所以我知道那里不少label是有疑问的
: 这两回事，Mnist就是要努力学老美信封的写法，然后降低认错带来的损失。如
果你连
: 90%确定度都不接受，那还有别的玩法。
: x10
|
|
d*****u
发帖数: 17243 | 7 你怎么知道有噪声就一定都不行了？
实际的test set里各种数据都有。
比如最基本的数字识别，那个著名的MNIST data set里面有些人的肉眼都拿不准 |
|
L****8
发帖数: 3938 | 8 【 以下文字转载自 Programming 讨论区 】
发信人: Liber8 (Space-Time continuum), 信区: Programming
标 题: 100伪币悬赏：CNN这个东西本质上处理不了形变
发信站: BBS 未名空间站 (Wed Nov 22 00:14:51 2017, 美东)
物体大形变 只能通过 data augmentation 进行题海战术 记住所有变化
物体形变 本身是连续变化 Lagrangian view
但是变成图像 用像素描述物体 就是 Eulerian view，所有的基本距离度量，在像素
空间内统统失效。
举个例子： 在MNIST数据集上
很多基于deformable model的算法 可以获得非常高的准确度 用很少的训练样本 完全
不用data augmentation
如果用DNN，那就非得data augmentation 才能获胜
100伪币悬赏 ---------------------------------------------
图像是一个三角形的瀑布从上而下流
两个任务
1）请设计一个多入单出的DNN regre... 阅读全帖 |
|
d**********u
发帖数: 3371 | 9 综上 图像识别的难点在于开放世界
要识别全世界所有的猫狗, 汽车, (Google 2013年的文章号称起达到人类水平了, 其实
还差得远, 因为不管用什么数据集, 最后总是闭合的), 是一个特别难的题, 因为不断
的有新的猫狗, 汽车出来, 现行的AI就算是
Deep Learning大部分是没有识别区分性特征的能力的, 比如先识别汽车的轮子, 车架,
从而判断是汽车..., 13, 14年有2篇文章将过只要针对性的对deep network的输入加0
.02%, 肉眼无法识别的干扰, 就可以完全误导其判断. 这些都是因为开放世界的输入太
过庞大, 变化性太多, AI自己识别抓取关键特征非常难.
但是识别棋盘, 真是小菜一碟...., 看看USPS用的手写识别软件, 20年前Lecun做出来
的, 测试准确率高达99.998(MNIST dataset), 就因为手写识别是个闭合世界的识别过
程, 只用针对手写字母就可以了.
但是这些闭合世界的识别算法, 不能被称为"人工智能", (理论上, 按照这个标准, 这
个世界上是没有人工智能出现过的) 他们根本就不会想, 也没有自我意识, ... 阅读全帖 |
|
C*****5
发帖数: 8812 | 10 GTX1080是deep learning业余爱好者用的，内存太小，做大一点的问题比如ImageNet就
不够用了。很多人用的Tesla K80虽然不快，但是内存有24G，比GTX1080大多了。
Nvidia新出的专业入门级DevBOX用的是4块新的Pascal版TITAN X， 高级的DGX-1用的是
8块Tesla GP100。
GTX1080给新手玩MNIST差不多。 |
|
C*****5
发帖数: 8812 | 11 最近新出个library自动提取一堆feature的自己去找找，送进xgboost算算看。当作业
吧，反正算不出什么有用的东西。
数据pandas里自带的玩玩也够了。
你看，这不买nvda行吗？以后计算机教学都不写hello
world了，直接从mnist开始。 |
|
发帖数: 1 | 12 啥library, 房哥给个名字吧
: 最近新出个library自动提取一堆feature的自己去找找，送进xgboost算算看。
当作业
: 吧，反正算不出什么有用的东西。
: 数据pandas里自带的玩玩也够了。
: 你看，这不买nvda行吗？以后计算机教学都不写hello
: world了，直接从mnist开始。
|
|
s*****l
发帖数: 7106 | 13 甲骨文主要是训练样板少吧
其他跟mnist有啥区别
：能做到吗？ |
|
P**H
发帖数: 1897 | 14 mxnet很好装。mnist demo立马可跑。你试试，说不定750m都比你笔记本的CPU快。 |
|
P**H
发帖数: 1897 | 15 试试mxnet。他家号称内存消耗少。mnist只要几百m。
X。 |
|
P**H
发帖数: 1897 | 16 mxnet很好装。mnist demo立马可跑。你试试，说不定750m都比你笔记本的CPU快。 |
|
P**H
发帖数: 1897 | 17 试试mxnet。他家号称内存消耗少。mnist只要几百m。
X。 |
|
L****8
发帖数: 3938 | 18 我设计了一种新的结构
相当于CNN 两层conv 两层max-pooling
MNIST 上跑到了0.87 错误率
是个啥水平？ |
|
L****8
发帖数: 3938 | 19 我设计了一种新的结构
相当于CNN 两层conv 两层max-pooling
MNIST 上跑到了0.87 错误率
是个啥水平？ |
|
g****t
发帖数: 31659 | 20 where is Liber8 now?
I tested with MNIST earlier too. But I did not use soft computation
methods. |
|
L****8
发帖数: 3938 | 21 那是因为数据多
MNIST 没有pooling 你试试 |
|
L****8
发帖数: 3938 | 22 那是因为数据多
MNIST 没有pooling 你试试 |
|
g****t
发帖数: 31659 | 23 python很不错。糙快猛第一选择。
适合验证新idea.
读写分析文件格式，画图，数据计算,矩阵.....
各种功能都有。
0基础
2天撸了个手写体数字识别新算法
MNIST data 测试准确率80%. |
|
|
|
x****u
发帖数: 44466 | 26 ML的90%怎么够啊，mnist一般的CNN sample都有99.x%，业界不少能100%的。 |
|
g****t
发帖数: 31659 | 27 一来精度最后一点都是各种细节挖。不是通用知识
学了没有意义。所以我没继续。
二来99.x%那些，我认为都是垃圾论文。
Minst里有好多图，找10000000个人看，相当一部分人看出来会是1，
另一部分看出来是7。你的算法全认为是1，看着和label一样，
那当然是错的。
图对应的结果，不是写字的人说是什么就是什么。
最后是应用场景来定。
这就好比蓝色金色裙子那件事。
你写个算法，看出来是蓝的，那就是错的。
: ML的90%怎么够啊，mnist一般的CNN sample都有99.x%，业界不少能100%
的。
|
|
g****t
发帖数: 31659 | 28 Mnist里很有些图让人来看都有一定错误率的。
假定10万个人看同一个图
里头10%说是0，90%说是6
现在你一个算法全说是6
那我肯定认为这个算法无法fit in我的原有业务，一定
会出事。
: nmist的test set 10000张图片。
: 如果99%, 错误100张，尚有统计意义。
: 到99.9%， 错误10张，我觉得统计意义就不明显了。要测99.9%， 数据量再x10
才行。
|
|
x****u
发帖数: 44466 | 29 这两回事，Mnist就是要努力学老美信封的写法，然后降低认错带来的损失。如果你连
90%确定度都不接受，那还有别的玩法。
x10 |
|
x****u
发帖数: 44466 | 30 这就是我上面说的，label含义问题
现在的label是指数字实际是什么，你可以把它改成数字长的像什么，叫mnist+。 |
|
g****t
发帖数: 31659 | 31 对。我基本上只认外延定义。
不认为“是”这个字有意义。
谁来规定什么是什么？
写字的人写多了出错是肯定的。让写的人自己定义label困难也很多。
我碰到问题，或者设计产品卖点。
首要的办法，就是构造对应的统计稳定的，逻辑一致的
理想实验，或者用户场景，来代替这个“是”字。然后慢慢分析。这算是
跟着einstein邯郸学步。
我觉得数据产品最后就是数字和应用场景联系。
无用词汇没有帮助。
: 这就是我上面说的，label含义问题
: 现在的label是指数字实际是什么，你可以把它改成数字长的像什么，叫
mnist 。
|
|
w***g
发帖数: 5958 | 32 用MNIST做evaluation的paper一律可以忽略。
如果这种都看，世上的paper是看不过来的。
数学家和物理学家都觉得他们可以来掺一脚，
其实不是那样的。CS有CS的套路。
看paper主要是看evaluation。 |
|
C*****5
发帖数: 8812 | 33 今天有空瞎扯几句，版上的大神们不要见笑。其实今天很多人所谓的ML入门，其实是DL
入门，或者叫神经网络入门。我觉得可以分三步。
第一，把Goodfellow等著的deep learning书Part I and Park II都看懂，包括第一章数
学基础都查漏补缺完成，基本的理论基础就具备了。看不懂的youtube，Coursera，
udacity找资源帮助理解。
第二，自己实现几个简单的神经网络，我个人建议是用numpy手撕一个MLP，一个
vanilla的CNN和一个vanilla的RNN，重点是了解matrix(或者叫tensor)在层之间怎么流
动，forward（比如convolution），backward（尤其是RNN的backpropagation
through time）怎么实现。这些都不难，但是需要一些耐心。虽然耗时间，但是对彻底
摸清神经网络的工作细节很有帮助。所有的三个网络都可以用mnist数据集。
第三，学习一两个主流的libraries。个人推荐先学pytorch，后学tensorflow。因为这
两个是DL libraries的两种风格，imperat... 阅读全帖 |
|
r***e
发帖数: 127 | 34 新手向各位大牛请教一下DL的问题。
俺有几万张图分成5类。模型就抄了一下Tensorflow CNN tutorial里面识别MNIST的
例子，训练完之后所有的testing图片都被识别成C类，softmax给出的probabilities都
一模一样，调了一下参数还是都选C，牛牛们有没有遇到过这种情况？
感觉AI真牛，和俺当年蒙多项选择题一个路数啊。 |
|
m****o
发帖数: 182 | 35 应该是可以的。transfer learning做起来稍微比较麻烦一点。下面的程序极有可能不
能跑通，我直接在网页上写出来的。但是你可以知道我的意思。只获取数字和字母模型
的隐含层信息，然后把两个的最后两层concat在一起和输出层做一个全联接。训练的时
候冻结所有隐含层的权值更新。这样的话你只是训练最后一层即输出层的权值，速度应
该会快很多。如果效果不理想，可以在输出层之前再加上一层银行层。
import tensorflow as tf
from tensorflow.contrib.layers import fully_connected,
n_in = 28 * 28 # assuming the size of mnist
n_out = 10 + 26 # 0-9 + 'a'-'z'
n_hidden = 100 # assuming both models have two hidden layers with size = 100
with tf.Graph().as_default():
X = tf.placeholder(tf.float32, shape=... 阅读全帖 |
|
L****8
发帖数: 3938 | 36 物体大形变 只能通过 data augmentation 进行题海战术 记住所有变化
物体形变 本身是连续变化 Lagrangian view
但是变成图像 用像素描述物体 就是 Eulerian view，所有的基本距离度量，在像素
空间内统统失效。
举个例子： 在MNIST数据集上
很多基于deformable model的算法 可以获得非常高的准确度 用很少的训练样本 完全
不用data augmentation
如果用DNN，那就非得data augmentation 才能获胜
100伪币悬赏 ---------------------------------------------
图像是一个三角形的瀑布从上而下流
两个任务
1）请设计一个多入单出的DNN regressor，从图片计算瀑布下尖位置(决定整个形状)
2）请设计一个generative DNN， 根据下尖位置生成瀑布图片
请用前64张图训练 后64张图测试
不用data augmentation 不用transfer learning
能做出来的 我出100伪币 估计google会给你100w美元 |
|
s*****V
发帖数: 21731 | 37 监督学习必须有大量的标记数据支持，全世界人都在做那几个dataset， imagenet,
mnist。 无监督学习方面还是比较粗糙的，只有 GAN看上去有点对头，但是也是很初步
的成果。 |
|
x****u
发帖数: 44466 | 38 胶囊至少要先在imagenet上干倒alexnet再说吧
现在提出个mnist上能用的点子抛砖引玉，不是相当于我请客你买单？ |
|
x**********i
发帖数: 658 | 39 请问下各位大牛，这个hidden layers到底该怎样理解啊，他们有啥现实意义，或者说
我该怎么设置hidden layers，以及其中多少的neurons才能得到想要的结果？
在网上找了半天，没啥令人信服的解释。MNIST大牛们肯定都用过吧，能不能解释下
hidden layers在这个project的背景下的作用和意义？
有关的论文我也正在看，但是进展缓慢，先听大牛们解释下应该能更好理解。
拜谢 |
|
发帖数: 1 | 40 linux机，你意思是Desktop，台式机？装个Ubuntu啥的？
另外貌似最简单的Mnist data，40000 sample X 700 feature，用tensorflow也就2-4
个小时？
40000 X 700，已经不小了吧？
所以我很好奇，为何deep learning运算量如此巨大？
我刚入门DL,所以问些蠢问题 |
|
y******2
发帖数: 326 | 41 Linux是因为编程快，能用command line. 深层Neural network 几百万的parameter,
dot product用显卡快很多，因为内核多。游戏画多边形都是dot product。1070完全够
，有钱可以弄个1080ti。mnist 是最简单的，我平时都是＞50million x 500的矩阵，
1080得跑个两三天。neural network 其实是穷举，都是靠数据大，运算快，运算方法
并不先进。
4 |
|
发帖数: 1 | 42 很受教！
mnist 40000 X 784我觉得大，因为比如我们做病人feature analysis；你能有个
10000个病人就已经不得了了；有100个feature也不得了了。看来还是patient feature
的获取太昂贵
所以的确要做真正的big data，还是要跳出biomed
“我平时都是＞50million x 500的矩阵”
不知道你这具体是做啥的呢？这么大的matrix
比如你如果做图像处理，这里的500是pixel number，然后处理50million张图像？
或者图像pixel是50million，处理500张？ |
|
y******2
发帖数: 326 | 43 我的不是图像，是anomaly detection。一行数据是一个event，最近这次8千万行，
1100多个feature。图像现在一般没有那么大的数据，所以都是transfer learning，就
是用以前train的模型，套到自己的图片上。大概是224x224 pixel, 3个RGB的channel
，再有个几万的图片就不得了，所以大概是10000x224x224x3。最原始的模型大概有几
百万的图片，但是那个小，也就128x128 pixel. mnist是黑白的，所以最后的只有一个
channel。 |
|
