由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - CNN网络之后一般还要加FNN?
s********k
2017-01-10 14:54:42
1
为什么不知道用CNN做softmax?是因为维度太高了吗?
g****t
2017-01-10 15:08:17
2
不管什么结构NN,不用卷积我觉得是不太可能的。
卷积就是低通或者高通滤波器,万金油。只要数据够多,
频率找对,什么噪声不都出去了。命中率肯定能提高。
2-d麻烦些,因为数轴和平面的拓扑结构在本质上不同。
同样,3-d问题现在的ANN结构可能不一定适用,但是卷积肯定
也是必须的。
乱枪打鸟,一定要滤波器给力。

【在 s********k 的大作中提到】
: 为什么不知道用CNN做softmax?是因为维度太高了吗?
s********k
2017-01-10 16:21:11
3
我的问题是用了CNN之后,为什么不直接用CNN的输出做softmax,还要加一层FNN呢?

【在 g****t 的大作中提到】
: 不管什么结构NN,不用卷积我觉得是不太可能的。
: 卷积就是低通或者高通滤波器,万金油。只要数据够多,
: 频率找对,什么噪声不都出去了。命中率肯定能提高。
: 2-d麻烦些,因为数轴和平面的拓扑结构在本质上不同。
: 同样,3-d问题现在的ANN结构可能不一定适用,但是卷积肯定
: 也是必须的。
: 乱枪打鸟,一定要滤波器给力。

x****u
2017-01-10 17:48:21
4
因为FC层参数多容量大啊,卷积层看到的是一大把抽象特征,把这些特征构成物体的函
数也需要容量
举个例子,VGG16能认ImageNet上的分类,如果我们希望学习一种新的动物分类,比如
哥斯拉,就可以把卷积层照搬,然后重新训练FC层。FC层能利用哥斯拉在卷积层上的输
出学到新分类

【在 s********k 的大作中提到】
: 为什么不知道用CNN做softmax?是因为维度太高了吗?
w***g
2017-01-10 17:54:59
5
可以直接CNN输出。之所以classification最后有FC layer是因为
多层convolution只是把一个大图片变成一个小图片。FC则是把
小图片变成N个class。用FCN做image to image transformation,
或者auto-encoder, 最后就没有FC layer,最后输出就是图片。

【在 s********k 的大作中提到】
: 我的问题是用了CNN之后,为什么不直接用CNN的输出做softmax,还要加一层FNN呢?
s********k
2017-01-10 18:32:57
6
你这个方式就是不需要做labeling最后人为的判断loss,直接unsupervised learning
?auto encoder 加在CNN之后?

【在 w***g 的大作中提到】
: 可以直接CNN输出。之所以classification最后有FC layer是因为
: 多层convolution只是把一个大图片变成一个小图片。FC则是把
: 小图片变成N个class。用FCN做image to image transformation,
: 或者auto-encoder, 最后就没有FC layer,最后输出就是图片。

s********k
2017-01-10 18:39:35
7
你说的分类是label的意思?

【在 x****u 的大作中提到】
: 因为FC层参数多容量大啊,卷积层看到的是一大把抽象特征,把这些特征构成物体的函
: 数也需要容量
: 举个例子,VGG16能认ImageNet上的分类,如果我们希望学习一种新的动物分类,比如
: 哥斯拉,就可以把卷积层照搬,然后重新训练FC层。FC层能利用哥斯拉在卷积层上的输
: 出学到新分类

x****u
2017-01-10 20:15:47
8
是的,比如毛茸茸加尖耳朵加牙齿加白色加六条腿是什么,这些东西是FC层学习的

的函
比如
的输

【在 s********k 的大作中提到】
: 你说的分类是label的意思?
s********k
2017-01-11 00:56:22
9
虽然CNN学习之后的参数很大,但是理论上也可以做直接label吧,或者说如果CNN的参
数是学习的各种图像参数,那么后面加一个FNN,FNN的参数是学习什么用的?

【在 x****u 的大作中提到】
: 是的,比如毛茸茸加尖耳朵加牙齿加白色加六条腿是什么,这些东西是FC层学习的
:
: 的函
: 比如
: 的输

x****u
2017-01-11 05:11:48
10
不可以啊
比如说同样都是一条狗,卷积层会有无数种输出的,必须用FC层归纳成抽象概念。
VGG16的卷积层输出了2万5千个浮点数,这个体积比ImageNet原图片小不了太多。

【在 s********k 的大作中提到】
: 虽然CNN学习之后的参数很大,但是理论上也可以做直接label吧,或者说如果CNN的参
: 数是学习的各种图像参数,那么后面加一个FNN,FNN的参数是学习什么用的?

s********k
2017-01-11 13:04:37
11
ok, 所以我的理解FNN那层主要是降低维度看来也差不多意思

【在 x****u 的大作中提到】
: 不可以啊
: 比如说同样都是一条狗,卷积层会有无数种输出的,必须用FC层归纳成抽象概念。
: VGG16的卷积层输出了2万5千个浮点数,这个体积比ImageNet原图片小不了太多。