由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - machine learning, neural network 为啥这几年火?
相关主题
我来科普下深度学习的应用范围吧大家了解Google的Search by Image的工作原理吗?
神经网络研究的致命伤有人给过SURF的专利费么?
前途是光明的,道路是曲折的我们造轮子吧,轮子成败的关键应该是
问几个神经网络的问题CNN和template matching到底有啥区别
卫东,怎么用DL做clustering?〔转载〕扫描P民手机软件的技术分析(图)
N个数字里面找出最大的5个数字的复杂度是什么?O(N)?关于内存泄漏
请教图像识别的人工智能算法 (转载)瓶颈在哪儿?
最近内存加个飙升啊粉FP的人是因为把电脑想象成图灵机了
相关话题的讨论汇总
话题: 符号话题: ai话题: npc话题: 系统话题: bp
进入Programming版参与讨论
1 (共1页)
f***n
发帖数: 4682
1
各种算法很早之前不就有了吗? 为什么近几年突然火了起来?
是哪方面近几年取得了突破?
诚心求教
l**********0
发帖数: 150
2
不复杂,一切都起源于硬盘内存大降价。
s*********y
发帖数: 6151
3
不对 应该是云计算白菜化造成的

【在 l**********0 的大作中提到】
: 不复杂,一切都起源于硬盘内存大降价。
N*****m
发帖数: 42603
4
是GPU性能大提升造成的

【在 s*********y 的大作中提到】
: 不对 应该是云计算白菜化造成的
d*****n
发帖数: 754
5
深度学习的理论和方法突破。在这以前,人工神经网已经死了。深度学习使其复活
[在 fhnan (凤凰男) 的大作中提到:]
:各种算法很早之前不就有了吗? 为什么近几年突然火了起来?
:是哪方面近几年取得了突破?
:诚心求教
f***n
发帖数: 4682
6
都有什么方法和理论取得了突破? 能介绍几个名字吗?

【在 d*****n 的大作中提到】
: 深度学习的理论和方法突破。在这以前,人工神经网已经死了。深度学习使其复活
: [在 fhnan (凤凰男) 的大作中提到:]
: :各种算法很早之前不就有了吗? 为什么近几年突然火了起来?
: :是哪方面近几年取得了突破?
: :诚心求教

h*i
发帖数: 3446
7
哪有啥突破,其实就是终于有李飞飞来弄出了足够多的数据。

【在 f***n 的大作中提到】
: 都有什么方法和理论取得了突破? 能介绍几个名字吗?
h*i
发帖数: 3446
8
最早搞AI的那帮人以为一个暑假几个研究生就可以解决的知觉问题,在半个世纪之后,
总算解决了。其实他们对问题的相对难度的估计是对的,知觉的确最简单,最早解决。
x****u
发帖数: 44466
9
最早搞AI的人觉得只要定义一套逻辑符号系统,就能实现智能了,图灵奖自娱自乐发了
一大堆,结果NPC问题在数学上一发展,脸是打的piapia的响,以至于想起AI就恶心

【在 h*i 的大作中提到】
: 最早搞AI的那帮人以为一个暑假几个研究生就可以解决的知觉问题,在半个世纪之后,
: 总算解决了。其实他们对问题的相对难度的估计是对的,知觉的确最简单,最早解决。

g****t
发帖数: 31659
10
我怀疑也许这只是问题的开端。也许Imaginet等库只是比较稳定的图片。假设图库里面
20%都是各种乱七八糟的美图秀,整容图,机器人艺术。现有的深度学习恐怕命中率会
下去很多。未来的图片界,应该是像现在的twitter类似,至少
15%程序生成的图片。那么就要重新设计数据库,找新的方法了。


: 最早搞AI的那帮人以为一个暑假几个研究生就可以解决的知觉问题,在半个世纪
之后,

: 总算解决了。其实他们对问题的相对难度的估计是对的,知觉的确最简单,最早
解决。



【在 h*i 的大作中提到】
: 最早搞AI的那帮人以为一个暑假几个研究生就可以解决的知觉问题,在半个世纪之后,
: 总算解决了。其实他们对问题的相对难度的估计是对的,知觉的确最简单,最早解决。

相关主题
N个数字里面找出最大的5个数字的复杂度是什么?O(N)?大家了解Google的Search by Image的工作原理吗?
请教图像识别的人工智能算法 (转载)有人给过SURF的专利费么?
最近内存加个飙升啊我们造轮子吧,轮子成败的关键应该是
进入Programming版参与讨论
g****t
发帖数: 31659
11
高人还是有的。有本书上说,司马贺写了一个定理机器证明的程序,向罗素汇报,说用
的罗素的数学原理里面的系统。罗素
没搭理他。我查了下年表,那时候罗素可能在组织反对核武器大签名。
话说爱因斯坦签完名没多久就去世了。有人说是政府干的。
但话说回来这些技术遗产也是有价值的。我花过些时间在这些系统上。个人感觉和数字
电路的逻辑验证同构性很强。现在的ic,等于是软件在做定理证明。
另外现在还有个大数学家在做这种系统。


: 最早搞AI的人觉得只要定义一套逻辑符号系统,就能实现智能了,图灵奖
自娱自
乐发了

: 一大堆,结果NPC问题在数学上一发展,脸是打的piapia的响,以至于想
起AI就
恶心



【在 x****u 的大作中提到】
: 最早搞AI的人觉得只要定义一套逻辑符号系统,就能实现智能了,图灵奖自娱自乐发了
: 一大堆,结果NPC问题在数学上一发展,脸是打的piapia的响,以至于想起AI就恶心

h*i
发帖数: 3446
12
最后智能问题的解决,可能还是需要符号系统。
逻辑不必要,因为各种各样的逻辑其实就是图遍历的不同模式而已,单一的逻辑肯定是
不够的,无论多复杂,多么“非公理化”。这是我研究王培的“非公理逻辑系统”之后
得出的结论。
但符号肯定是需要的。从企业应用的角度说,没有以符号为主做出来的系统是不能用的
。至于为什么,可能没有干过企业和政府项目的人不会理解。简单的说,就是需求是任
意的,数据是不存在的,所以深度学习是不可能的。Google, Facebook这些公司都没有
企业应用的需求,老实说,我看他们现在花大钱搞这些深度学习啥的其实是走入了歧途。
我还是看好混合系统。至于如何混,这就是本事了:)

【在 x****u 的大作中提到】
: 最早搞AI的人觉得只要定义一套逻辑符号系统,就能实现智能了,图灵奖自娱自乐发了
: 一大堆,结果NPC问题在数学上一发展,脸是打的piapia的响,以至于想起AI就恶心

g****t
发帖数: 31659
13
物理或者更具体更狭小的范围,流体力学之类的小分支的逻辑本身就是非公理化的。
Goog, fb这些面对终端客户的应用的数据源会面临污染问题。现如今web已经很贫乏了
。包括这个bbs


: 最后智能问题的解决,可能还是需要符号系统。

: 逻辑不必要,因为各种各样的逻辑其实就是图遍历的不同模式而已,单一
的逻辑
肯定是

: 不够的,无论多复杂,多么“非公理化”。这是我研究王培的
“非公理逻辑系统
”之后

: 得出的结论。

: 但符号肯定是需要的。从企业应用的角度说,没有以符号为主做出来的系
统是不
能用的

: 。至于为什么,可能没有干过企业和政府项目的人不会理解。简单的说,
就是需
求是任

: 意的,数据是不存在的,所以深度学习是不可能的。Google, Facebook这
些公司
都没有

: 企业应用的需求,老实说,我看他们现在花大钱搞这些深度学习啥的其实
是走入
了歧途。

: 我还是看好混合系统。至于如何混,这就是本事了:)



【在 h*i 的大作中提到】
: 最后智能问题的解决,可能还是需要符号系统。
: 逻辑不必要,因为各种各样的逻辑其实就是图遍历的不同模式而已,单一的逻辑肯定是
: 不够的,无论多复杂,多么“非公理化”。这是我研究王培的“非公理逻辑系统”之后
: 得出的结论。
: 但符号肯定是需要的。从企业应用的角度说,没有以符号为主做出来的系统是不能用的
: 。至于为什么,可能没有干过企业和政府项目的人不会理解。简单的说,就是需求是任
: 意的,数据是不存在的,所以深度学习是不可能的。Google, Facebook这些公司都没有
: 企业应用的需求,老实说,我看他们现在花大钱搞这些深度学习啥的其实是走入了歧途。
: 我还是看好混合系统。至于如何混,这就是本事了:)

h*i
发帖数: 3446
14
其实都非公理化了,逻辑的优势在哪儿?所以我的结论是,逻辑是不必要的。暴力加上
靠谱的体系结构,这就够了。
FB,google之流下面撞南墙是必然的。基于纯数据的办法肯定要被人整。软软的小冰不
是被日惨了么?哈哈。
符号系统是逃不掉的,现在这些跟风的人云亦云之辈,跟他们说这个是鸡同鸭讲。
话说回来,人家其实也是混碗饭吃而已,要求不能太高了。

【在 g****t 的大作中提到】
: 物理或者更具体更狭小的范围,流体力学之类的小分支的逻辑本身就是非公理化的。
: Goog, fb这些面对终端客户的应用的数据源会面临污染问题。现如今web已经很贫乏了
: 。包括这个bbs
:
:
: 最后智能问题的解决,可能还是需要符号系统。
:
: 逻辑不必要,因为各种各样的逻辑其实就是图遍历的不同模式而已,单一
: 的逻辑
: 肯定是
:
: 不够的,无论多复杂,多么“非公理化”。这是我研究王培的
: “非公理逻辑系统

l*******m
发帖数: 1096
15


【在 h*i 的大作中提到】
: 其实都非公理化了,逻辑的优势在哪儿?所以我的结论是,逻辑是不必要的。暴力加上
: 靠谱的体系结构,这就够了。
: FB,google之流下面撞南墙是必然的。基于纯数据的办法肯定要被人整。软软的小冰不
: 是被日惨了么?哈哈。
: 符号系统是逃不掉的,现在这些跟风的人云亦云之辈,跟他们说这个是鸡同鸭讲。
: 话说回来,人家其实也是混碗饭吃而已,要求不能太高了。

h*i
发帖数: 3446
16
哈哈,果真是鸡同鸭讲。
连中文都看不懂了么?

【在 l*******m 的大作中提到】

l*******m
发帖数: 1096
17
深度学习是不排斥符号系统的。比如alphago, value network是统计为主的,policy
network是符号,只是要求是可导的

【在 h*i 的大作中提到】
: 哈哈,果真是鸡同鸭讲。
: 连中文都看不懂了么?

x****u
发帖数: 44466
18
不是有paper说,人工数据更有利于训练神经网络

【在 g****t 的大作中提到】
: 我怀疑也许这只是问题的开端。也许Imaginet等库只是比较稳定的图片。假设图库里面
: 20%都是各种乱七八糟的美图秀,整容图,机器人艺术。现有的深度学习恐怕命中率会
: 下去很多。未来的图片界,应该是像现在的twitter类似,至少
: 15%程序生成的图片。那么就要重新设计数据库,找新的方法了。
:
:
: 最早搞AI的那帮人以为一个暑假几个研究生就可以解决的知觉问题,在半个世纪
: 之后,
:
: 总算解决了。其实他们对问题的相对难度的估计是对的,知觉的确最简单,最早
: 解决。
:

x****u
发帖数: 44466
19
符号系统已经没戏了
30年前有人证明了用图灵机求解这类问题是NPC,也就是说完全基于逻辑和理性解决数
学问题,需要指数级别的时间

途。

【在 h*i 的大作中提到】
: 最后智能问题的解决,可能还是需要符号系统。
: 逻辑不必要,因为各种各样的逻辑其实就是图遍历的不同模式而已,单一的逻辑肯定是
: 不够的,无论多复杂,多么“非公理化”。这是我研究王培的“非公理逻辑系统”之后
: 得出的结论。
: 但符号肯定是需要的。从企业应用的角度说,没有以符号为主做出来的系统是不能用的
: 。至于为什么,可能没有干过企业和政府项目的人不会理解。简单的说,就是需求是任
: 意的,数据是不存在的,所以深度学习是不可能的。Google, Facebook这些公司都没有
: 企业应用的需求,老实说,我看他们现在花大钱搞这些深度学习啥的其实是走入了歧途。
: 我还是看好混合系统。至于如何混,这就是本事了:)

h*i
发帖数: 3446
20
哈哈,这就是问题所在,“只是要求是可导的”。
凭啥啊?这不是削足适履是啥啊?
坐等撞南墙。哈哈。

【在 l*******m 的大作中提到】
: 深度学习是不排斥符号系统的。比如alphago, value network是统计为主的,policy
: network是符号,只是要求是可导的

相关主题
CNN和template matching到底有啥区别瓶颈在哪儿?
〔转载〕扫描P民手机软件的技术分析(图)粉FP的人是因为把电脑想象成图灵机了
关于内存泄漏有一道著名面试题,问的就是怎么解停机问题
进入Programming版参与讨论
x****u
发帖数: 44466
21
你说的是两回事
符号系统当然没问题,但用符号系统推导的办法解决ai问题,早已经被证明有南墙了。

【在 l*******m 的大作中提到】
: 深度学习是不排斥符号系统的。比如alphago, value network是统计为主的,policy
: network是符号,只是要求是可导的

h*i
发帖数: 3446
22
哈哈。我的观点是,任何能用图灵机证明的结论,都可以直接扔进垃圾桶。
因为绝大部分人类觉得有趣的,可以被称作需要智能的问题,都可以被证明是NPC。这
是本人提出的一个猜想,你可以引用,引用的时候注明hci猜想就行了。哈哈。
所以符号系统没戏了的说法,你只是听来的人云亦云。
我都说了,逻辑肯定是没戏的。但是符号系统不一定是基于逻辑的。
我都说了,我的猜想是,最后能用的智能系统,必然是符号与网络混合的系统,而且必
然会有随机因素在内。这些都不是DL一路走到黑的人能走的路,思维被困住了嘛。
而且,企业应用,必然还是以符号系统为基础的,否则系统是不可控的,因为“需求是
任意的,数据是不存在的”(你可以引用)。

【在 x****u 的大作中提到】
: 符号系统已经没戏了
: 30年前有人证明了用图灵机求解这类问题是NPC,也就是说完全基于逻辑和理性解决数
: 学问题,需要指数级别的时间
:
: 途。

l*******m
发帖数: 1096
23
海螺子说的也不是符号主义,就是指不全靠数据和统计的东东

【在 x****u 的大作中提到】
: 你说的是两回事
: 符号系统当然没问题,但用符号系统推导的办法解决ai问题,早已经被证明有南墙了。

l*******m
发帖数: 1096
24
主要是人类笨,想不出好的解法,只会backprob,所以要求可导

【在 h*i 的大作中提到】
: 哈哈,这就是问题所在,“只是要求是可导的”。
: 凭啥啊?这不是削足适履是啥啊?
: 坐等撞南墙。哈哈。

x****u
发帖数: 44466
25
30年前已经证明的东西就不算猜想了啊
不基于逻辑的符号系统,那就是艺术了,一般我们直接叫它艺术

【在 h*i 的大作中提到】
: 哈哈。我的观点是,任何能用图灵机证明的结论,都可以直接扔进垃圾桶。
: 因为绝大部分人类觉得有趣的,可以被称作需要智能的问题,都可以被证明是NPC。这
: 是本人提出的一个猜想,你可以引用,引用的时候注明hci猜想就行了。哈哈。
: 所以符号系统没戏了的说法,你只是听来的人云亦云。
: 我都说了,逻辑肯定是没戏的。但是符号系统不一定是基于逻辑的。
: 我都说了,我的猜想是,最后能用的智能系统,必然是符号与网络混合的系统,而且必
: 然会有随机因素在内。这些都不是DL一路走到黑的人能走的路,思维被困住了嘛。
: 而且,企业应用,必然还是以符号系统为基础的,否则系统是不可控的,因为“需求是
: 任意的,数据是不存在的”(你可以引用)。

h*i
发帖数: 3446
26
不是符号主义,但以符号为主,数据为辅。这么想好了,把符号体系结构和暴力计算能
力想成是nature,数据驱动的部分想成是nurture。这就是最终智能系统的构造,和人
的智能是一回事。

【在 l*******m 的大作中提到】
: 海螺子说的也不是符号主义,就是指不全靠数据和统计的东东
h*i
发帖数: 3446
27
所以说这不可能是正确的方法嘛。
人脑可没搞啥backprop.

【在 l*******m 的大作中提到】
: 主要是人类笨,想不出好的解法,只会backprob,所以要求可导
x****u
发帖数: 44466
28
这些东西用语言说起来就跑没边了,用二战前的图灵机理论套最好。
就是说解法必须不与确定图灵机等价才行,当然完全随机也是一种方式,不过这个一般
来说更差。

了。

【在 l*******m 的大作中提到】
: 海螺子说的也不是符号主义,就是指不全靠数据和统计的东东
h*i
发帖数: 3446
29
当然不会是艺术。而是计算机上可以执行的,可以理解的东东。而且东东出来的之后,
不愁有理论家来把它搞成复杂的形式化,不用担心。只是可怜以后学这些东东的同学们
,不知道要被什么变态的数学公式折磨。

【在 x****u 的大作中提到】
: 30年前已经证明的东西就不算猜想了啊
: 不基于逻辑的符号系统,那就是艺术了,一般我们直接叫它艺术

x****u
发帖数: 44466
30
你想想无法用确定图灵机表现的东西能形式化么?

【在 h*i 的大作中提到】
: 当然不会是艺术。而是计算机上可以执行的,可以理解的东东。而且东东出来的之后,
: 不愁有理论家来把它搞成复杂的形式化,不用担心。只是可怜以后学这些东东的同学们
: ,不知道要被什么变态的数学公式折磨。

相关主题
王垠:程序设计里的“小聪明”(ZZ)神经网络研究的致命伤
一个农场主手工制作的图灵机录像前途是光明的,道路是曲折的
我来科普下深度学习的应用范围吧问几个神经网络的问题
进入Programming版参与讨论
g****t
发帖数: 31659
31
那要看是什么人工数据。
估计本版没几个明白Cramer rao不等式,fisher information matrix
什么的。简单说给定数据集信息量是有限的。到
时候机器人视觉仍然是赢过人的,但是那不一定再有价值了,命中率也不会高,
因为机器人看到的东西是别的机器人造的...


: 不是有paper说,人工数据更有利于训练神经网络



【在 x****u 的大作中提到】
: 你想想无法用确定图灵机表现的东西能形式化么?
x****u
发帖数: 44466
32
NPC意味着随着问题规模增大,此方法代价大到不可接受啊
比如你可以符号证明篇幅几行的小学几何题,但想推广到证明几十页发数学期刊的定理
就不好用了

tweak

【在 g****t 的大作中提到】
: 那要看是什么人工数据。
: 估计本版没几个明白Cramer rao不等式,fisher information matrix
: 什么的。简单说给定数据集信息量是有限的。到
: 时候机器人视觉仍然是赢过人的,但是那不一定再有价值了,命中率也不会高,
: 因为机器人看到的东西是别的机器人造的...
:
:
: 不是有paper说,人工数据更有利于训练神经网络
:

g****t
发帖数: 31659
33
企业应用不能由对方提需求。教育客户很重要,不然
没法做项目。当然我是大公司环境。具体可能有所不同。


: 哈哈。我的观点是,任何能用图灵机证明的结论,都可以直接扔进垃圾桶。

: 因为绝大部分人类觉得有趣的,可以被称作需要智能的问题,都可以被证明是
NPC。这

: 是本人提出的一个猜想,你可以引用,引用的时候注明hci猜想就行了。哈哈。

: 所以符号系统没戏了的说法,你只是听来的人云亦云。

: 我都说了,逻辑肯定是没戏的。但是符号系统不一定是基于逻辑的。

: 我都说了,我的猜想是,最后能用的智能系统,必然是符号与网络混合的系统,
而且必

: 然会有随机因素在内。这些都不是DL一路走到黑的人能走的路,思维被困住了嘛。

: 而且,企业应用,必然还是以符号系统为基础的,否则系统是不可控的,因为“
需求是

: 任意的,数据是不存在的”(你可以引用)。



【在 h*i 的大作中提到】
: 当然不会是艺术。而是计算机上可以执行的,可以理解的东东。而且东东出来的之后,
: 不愁有理论家来把它搞成复杂的形式化,不用担心。只是可怜以后学这些东东的同学们
: ,不知道要被什么变态的数学公式折磨。

h*i
发帖数: 3446
34
需求不一定是对方提的。要求往往是政治斗争的产物,所以是完全任意的,甚至往往是
不合理的。但一个人类能接受的“智能系统”必须要能对付这种任意的,甚至“不合理
”的要求。
因为本质上,所谓人工智能系统的终极目标,其实就是“人造奴隶”。用户不会愿意被
你进行一个“如何使用奴隶”的教育的。如果这个奴隶不听话,自然有其他奴隶来源。
就如他们把印第安人灭了,进口了黑人一样。

【在 g****t 的大作中提到】
: 企业应用不能由对方提需求。教育客户很重要,不然
: 没法做项目。当然我是大公司环境。具体可能有所不同。
:
:
: 哈哈。我的观点是,任何能用图灵机证明的结论,都可以直接扔进垃圾桶。
:
: 因为绝大部分人类觉得有趣的,可以被称作需要智能的问题,都可以被证明是
: NPC。这
:
: 是本人提出的一个猜想,你可以引用,引用的时候注明hci猜想就行了。哈哈。
:
: 所以符号系统没戏了的说法,你只是听来的人云亦云。
:
: 我都说了,逻辑肯定是没戏的。但是符号系统不一定是基于逻辑的。
:
: 我都说了,我的猜想是,最后能用的智能系统,必然是符号与网络混合的系统,

h*i
发帖数: 3446
35
为什么是“无法用确定图灵机表现”?计算机都能实现了,当然是图灵机能表现的,当
然能形式化。

【在 x****u 的大作中提到】
: 你想想无法用确定图灵机表现的东西能形式化么?
h*i
发帖数: 3446
36
我同意“npc这个刻画实用价值不大”。
比如现在实用编程,没人鸟什么npc不npc,该干嘛干嘛。formal methods基本上和实用
编程没有什么关系。

【在 h*i 的大作中提到】
: 为什么是“无法用确定图灵机表现”?计算机都能实现了,当然是图灵机能表现的,当
: 然能形式化。

x****u
发帖数: 44466
37
数学上的图灵机是确定性的,但现在大部分的神经网络,都有随机数在体系内,比如随
机权值,dropout等
你把固定种子的伪随机数换成基于热噪声的随机发生器,这个过程就不是图灵机可模拟了

【在 h*i 的大作中提到】
: 为什么是“无法用确定图灵机表现”?计算机都能实现了,当然是图灵机能表现的,当
: 然能形式化。

x****u
发帖数: 44466
38
NPC当然有意义,比如你分解质数,搞着玩可以,搞大了就是核武器

【在 h*i 的大作中提到】
: 我同意“npc这个刻画实用价值不大”。
: 比如现在实用编程,没人鸟什么npc不npc,该干嘛干嘛。formal methods基本上和实用
: 编程没有什么关系。

w***g
发帖数: 5958
39
backprop多级feedback而已,人脑经常搞的。
小孩特别明显,而且还能根据反馈产生新的行为test大人的decision boundary。

【在 h*i 的大作中提到】
: 所以说这不可能是正确的方法嘛。
: 人脑可没搞啥backprop.

w***g
发帖数: 5958
40
hci猜想很有道理。所谓NPC,基本上就说一个问题要验证结果的正确性容易,但是
产生正确的结果难。Non-deterministic Polynomial就是说这类问题用无穷多的人
一起来暴力验证所有可能解能快速把结果筛出来。(N并不是说问题不能解,而是说
允许暴力的话问题还是能快速解出来。应该还有更难的问题,就是允许暴力搜索也
还是没法快速解出来。)人觉得一个东西有趣,本质上就是说大脑在学习了这个东
西后产生了新的连接,或者改变了连接的权重。这就有两个条件:1. 这个东西必须
是人脑容易理解的(P). 2. 这个东西人脑不能轻易产生. NPC的问题符合这两个要求。

【在 h*i 的大作中提到】
: 哈哈。我的观点是,任何能用图灵机证明的结论,都可以直接扔进垃圾桶。
: 因为绝大部分人类觉得有趣的,可以被称作需要智能的问题,都可以被证明是NPC。这
: 是本人提出的一个猜想,你可以引用,引用的时候注明hci猜想就行了。哈哈。
: 所以符号系统没戏了的说法,你只是听来的人云亦云。
: 我都说了,逻辑肯定是没戏的。但是符号系统不一定是基于逻辑的。
: 我都说了,我的猜想是,最后能用的智能系统,必然是符号与网络混合的系统,而且必
: 然会有随机因素在内。这些都不是DL一路走到黑的人能走的路,思维被困住了嘛。
: 而且,企业应用,必然还是以符号系统为基础的,否则系统是不可控的,因为“需求是
: 任意的,数据是不存在的”(你可以引用)。

相关主题
问几个神经网络的问题请教图像识别的人工智能算法 (转载)
卫东,怎么用DL做clustering?最近内存加个飙升啊
N个数字里面找出最大的5个数字的复杂度是什么?O(N)?大家了解Google的Search by Image的工作原理吗?
进入Programming版参与讨论
w********m
发帖数: 1137
41
都是CMU的人在发力
CMU mafia的实力太强
h*i
发帖数: 3446
42
一般意义上的反馈当然人脑要搞。但backprop这种反馈的机制,明显不是生物上可行的
。讨论backprop的生物不可能性的文章以前有很多,这些都是以前ANN处于濒死状态的
原因之一。DL的兴起并没改变这些。

【在 w***g 的大作中提到】
: backprop多级feedback而已,人脑经常搞的。
: 小孩特别明显,而且还能根据反馈产生新的行为test大人的decision boundary。

h*i
发帖数: 3446
43
Whatever. 那我们不关心图灵机不就得了。放心,图灵机不能用,理论家们自然会提出
其他的形式化,总得吃饭,对不对。

拟了

【在 x****u 的大作中提到】
: 数学上的图灵机是确定性的,但现在大部分的神经网络,都有随机数在体系内,比如随
: 机权值,dropout等
: 你把固定种子的伪随机数换成基于热噪声的随机发生器,这个过程就不是图灵机可模拟了

h*i
发帖数: 3446
44
不确定性也与数学有关。
什么叫数学?数学是人智能的产物。说什么东西是与数学无关的,其实就是说这个东西
是人类不能理解的的。等于就是不可知论。
不要以为说与数学无关,好像就跟神灵有关了。哈哈。中国人不信这个。不知生,焉知
死?子不语怪力乱神。等等,这些都是深入人心的。你就消停一点吧。
g****t
发帖数: 31659
45
很多人就是MSFT的奴隶,GOOG的奴隶,马化腾的奴隶啊。。。

【在 h*i 的大作中提到】
: 需求不一定是对方提的。要求往往是政治斗争的产物,所以是完全任意的,甚至往往是
: 不合理的。但一个人类能接受的“智能系统”必须要能对付这种任意的,甚至“不合理
: ”的要求。
: 因为本质上,所谓人工智能系统的终极目标,其实就是“人造奴隶”。用户不会愿意被
: 你进行一个“如何使用奴隶”的教育的。如果这个奴隶不听话,自然有其他奴隶来源。
: 就如他们把印第安人灭了,进口了黑人一样。

h*i
发帖数: 3446
46
你这个角度讲得很有道理。我没有你想得这么清楚。

【在 w***g 的大作中提到】
: hci猜想很有道理。所谓NPC,基本上就说一个问题要验证结果的正确性容易,但是
: 产生正确的结果难。Non-deterministic Polynomial就是说这类问题用无穷多的人
: 一起来暴力验证所有可能解能快速把结果筛出来。(N并不是说问题不能解,而是说
: 允许暴力的话问题还是能快速解出来。应该还有更难的问题,就是允许暴力搜索也
: 还是没法快速解出来。)人觉得一个东西有趣,本质上就是说大脑在学习了这个东
: 西后产生了新的连接,或者改变了连接的权重。这就有两个条件:1. 这个东西必须
: 是人脑容易理解的(P). 2. 这个东西人脑不能轻易产生. NPC的问题符合这两个要求。

g****t
发帖数: 31659
47
你的问题本身是个现实世界的问题,有多种model方法。
你model成黎曼猜想,那说明应该work on other modeling method。
而不是找张益唐。
现实世界都是苹果橘子,不存在数字。数字本身就是个model。
数学问题是存在的,但并不是现实,因为数学问题没有时间属性

【在 x****u 的大作中提到】
: NPC意味着随着问题规模增大,此方法代价大到不可接受啊
: 比如你可以符号证明篇幅几行的小学几何题,但想推广到证明几十页发数学期刊的定理
: 就不好用了
:
: tweak

g****t
发帖数: 31659
48
btw:人工智能的总目的其实就是把人类变蠢,或者按你说的变成奴隶。
人不变成奴隶,机器过不了图灵测试。
发信人: guvest (我爱你老婆Anna), 信区: Programming
标 题: 人工智能必然会实现
发信站: BBS 未名空间站 (Fri Jan 2 00:19:49 2015, 美东)
我之前思考过图灵测试。
结论是,机器通过图灵测试走正面路线无论如何是不行的。
但是人工智能必然会实现的。
办法是走反方向的路线。
只要计算机让和它接触的人类的智力越来越降低,
那迟早有一天机器就能通过当时的图灵测试。因为那个时代的人已经
和机器愚蠢的差不多了。
看看本版各路大牛的现状,
有没有人和我有同感啊?
(我说的东西不是纯开玩笑。
不信你们google下kojeve+japan+animal.
Kojeve老人家预言人类将来是往动物的方向走。
为了实现把全人类改造成愚蠢的消费者的目标,
他设计了关贸总协定和WTO)

【在 g****t 的大作中提到】
: 很多人就是MSFT的奴隶,GOOG的奴隶,马化腾的奴隶啊。。。
h*i
发帖数: 3446
49
人做奴隶人家都玩腻了,人现在要人造奴隶。哈哈。

【在 g****t 的大作中提到】
: 很多人就是MSFT的奴隶,GOOG的奴隶,马化腾的奴隶啊。。。
h*i
发帖数: 3446
50
也有一定道理。
不是说现代人比原始人更蠢,脑容量更小么?社会化文明化让人变蠢了。

【在 g****t 的大作中提到】
: btw:人工智能的总目的其实就是把人类变蠢,或者按你说的变成奴隶。
: 人不变成奴隶,机器过不了图灵测试。
: 发信人: guvest (我爱你老婆Anna), 信区: Programming
: 标 题: 人工智能必然会实现
: 发信站: BBS 未名空间站 (Fri Jan 2 00:19:49 2015, 美东)
: 我之前思考过图灵测试。
: 结论是,机器通过图灵测试走正面路线无论如何是不行的。
: 但是人工智能必然会实现的。
: 办法是走反方向的路线。
: 只要计算机让和它接触的人类的智力越来越降低,

相关主题
有人给过SURF的专利费么?〔转载〕扫描P民手机软件的技术分析(图)
我们造轮子吧,轮子成败的关键应该是关于内存泄漏
CNN和template matching到底有啥区别瓶颈在哪儿?
进入Programming版参与讨论
h*i
发帖数: 3446
51
非线性就不能有数学了么?数学专家来论一论。
g****t
发帖数: 31659
52
这个其实是看屁股坐在左边还是在右边解释。
福柯写过一本书叫做规训与惩罚。
我的个人解释,他讲的就是这么一个历史过程:
最开始是没有精神病人这个词,这回事的。
社会上的outlier,没人管。这些人也不会碍着谁。
社会的理性建制一起来,发现这么多人没办法放在这个体系里。
会造成严重问题
于是给他们训练和惩罚。搞不定的,就起各种精神病的名字,
慢慢研究。发明疗法。
然后这个后果呢,社会的建制越来越牛X,
被发现的病人呢,只能是越来越多了。
这就好比语言越大,corner cases越来越多一样。
现在怎么办?
解药有没有?我看资本界的大佬们在赌AI啊。

【在 h*i 的大作中提到】
: 也有一定道理。
: 不是说现代人比原始人更蠢,脑容量更小么?社会化文明化让人变蠢了。

x****u
发帖数: 44466
53
你还是不明白图灵机的可怕性啊
否定图灵机,就等于放弃了人类的逻辑推理
当然我们可以用骰子或者祈祷的方法证明数学猜想
NPC是个很强的结论,代表了逻辑推理能力的极限

【在 h*i 的大作中提到】
: Whatever. 那我们不关心图灵机不就得了。放心,图灵机不能用,理论家们自然会提出
: 其他的形式化,总得吃饭,对不对。
:
: 拟了

x****u
发帖数: 44466
54
关键问题在于,这个世界的本质是有限的,无限仅仅在逻辑中存在
复杂度指数增加,耗时或者cpu数很容易就超过宇宙年龄或者宇宙原子总量了

【在 w***g 的大作中提到】
: hci猜想很有道理。所谓NPC,基本上就说一个问题要验证结果的正确性容易,但是
: 产生正确的结果难。Non-deterministic Polynomial就是说这类问题用无穷多的人
: 一起来暴力验证所有可能解能快速把结果筛出来。(N并不是说问题不能解,而是说
: 允许暴力的话问题还是能快速解出来。应该还有更难的问题,就是允许暴力搜索也
: 还是没法快速解出来。)人觉得一个东西有趣,本质上就是说大脑在学习了这个东
: 西后产生了新的连接,或者改变了连接的权重。这就有两个条件:1. 这个东西必须
: 是人脑容易理解的(P). 2. 这个东西人脑不能轻易产生. NPC的问题符合这两个要求。

h*i
发帖数: 3446
55
好吧。

【在 x****u 的大作中提到】
: 你还是不明白图灵机的可怕性啊
: 否定图灵机,就等于放弃了人类的逻辑推理
: 当然我们可以用骰子或者祈祷的方法证明数学猜想
: NPC是个很强的结论,代表了逻辑推理能力的极限

h*i
发帖数: 3446
56
问题是,人类对“解决问题”的定义往往不是要求“最优解”,而是“满意解”,所以
你这些图灵机NPC等等东东在现实中几乎没有什么用处。我们算是兴趣广泛的了,还听
你聊聊,一般人哪管这些。

【在 x****u 的大作中提到】
: 关键问题在于,这个世界的本质是有限的,无限仅仅在逻辑中存在
: 复杂度指数增加,耗时或者cpu数很容易就超过宇宙年龄或者宇宙原子总量了

x****u
发帖数: 44466
57
什么解这个并不重要,验证解是很快的,关键是求解的过程不能基于纯逻辑
举个非常浅显的例子,初中学平面几何,虽然机器证明早就搞定了平面几何的自动证明
,但如果敢在考场用纯逻辑的思路做题,而不是基于对图形的直觉,会死得非常惨。因
为这个求解过程也是NPH,人脑玩不转。

【在 h*i 的大作中提到】
: 问题是,人类对“解决问题”的定义往往不是要求“最优解”,而是“满意解”,所以
: 你这些图灵机NPC等等东东在现实中几乎没有什么用处。我们算是兴趣广泛的了,还听
: 你聊聊,一般人哪管这些。

h*i
发帖数: 3446
58
我早就说了不能基于逻辑了呀。

【在 x****u 的大作中提到】
: 什么解这个并不重要,验证解是很快的,关键是求解的过程不能基于纯逻辑
: 举个非常浅显的例子,初中学平面几何,虽然机器证明早就搞定了平面几何的自动证明
: ,但如果敢在考场用纯逻辑的思路做题,而不是基于对图形的直觉,会死得非常惨。因
: 为这个求解过程也是NPH,人脑玩不转。

g****t
发帖数: 31659
59
他说的东西不确切。机器没有,也不可能搞定平面几何。
欧几里得平面几何和数论是等价的,包含丢潘都方程之类的
无法证明的定理。这和图灵停机的道理类似。
受限制的一些系统,例如塔斯基几何什么的,是可以判定的。类似于静态分析可以搞定
的程序。


: 我早就说了不能基于逻辑了呀。



【在 h*i 的大作中提到】
: 我早就说了不能基于逻辑了呀。
x****u
发帖数: 44466
60
搞定的是机器证明,不是说解决一切难题,毕竟证明都是NP hard,考卷上写不开的长
篇论文就抓瞎
欧几里得几何是完备的系统,不存在不可判定问题
数论不完备,几何和数论不等价

【在 g****t 的大作中提到】
: 他说的东西不确切。机器没有,也不可能搞定平面几何。
: 欧几里得平面几何和数论是等价的,包含丢潘都方程之类的
: 无法证明的定理。这和图灵停机的道理类似。
: 受限制的一些系统,例如塔斯基几何什么的,是可以判定的。类似于静态分析可以搞定
: 的程序。
:
:
: 我早就说了不能基于逻辑了呀。
:

相关主题
粉FP的人是因为把电脑想象成图灵机了一个农场主手工制作的图灵机录像
有一道著名面试题,问的就是怎么解停机问题我来科普下深度学习的应用范围吧
王垠:程序设计里的“小聪明”(ZZ)神经网络研究的致命伤
进入Programming版参与讨论
f***n
发帖数: 4682
61
各位老大,你们扯得太远了,我都听不懂。
我就想知道近几年出现了什么新的理论和方法导致这个领域有了突破性进展,好跟别人
吹吹牛。
T*******x
发帖数: 8565
62
这段话说的挺隐晦的,我是看了你后面几篇贴才明白你想说什么。我基本上同意你的看
法。也许是符号系统这个词用的,不准确,可能还没有合适的词。

途。

【在 h*i 的大作中提到】
: 最后智能问题的解决,可能还是需要符号系统。
: 逻辑不必要,因为各种各样的逻辑其实就是图遍历的不同模式而已,单一的逻辑肯定是
: 不够的,无论多复杂,多么“非公理化”。这是我研究王培的“非公理逻辑系统”之后
: 得出的结论。
: 但符号肯定是需要的。从企业应用的角度说,没有以符号为主做出来的系统是不能用的
: 。至于为什么,可能没有干过企业和政府项目的人不会理解。简单的说,就是需求是任
: 意的,数据是不存在的,所以深度学习是不可能的。Google, Facebook这些公司都没有
: 企业应用的需求,老实说,我看他们现在花大钱搞这些深度学习啥的其实是走入了歧途。
: 我还是看好混合系统。至于如何混,这就是本事了:)

h*i
发帖数: 3446
63
其实都是大白话。学过一门AI课的应该都懂。
当然可能现在的AI课都不讲这些了?符号系统,不是标准说法么?
https://en.wikipedia.org/wiki/Physical_symbol_system
如果现在的AI课都不讲这些了,我看第二个AI冬天就快来了吧。哈哈。

【在 T*******x 的大作中提到】
: 这段话说的挺隐晦的,我是看了你后面几篇贴才明白你想说什么。我基本上同意你的看
: 法。也许是符号系统这个词用的,不准确,可能还没有合适的词。
:
: 途。

h*i
发帖数: 3446
64
都回答你了啊。你不信,咋弄?
哈哈。

【在 f***n 的大作中提到】
: 各位老大,你们扯得太远了,我都听不懂。
: 我就想知道近几年出现了什么新的理论和方法导致这个领域有了突破性进展,好跟别人
: 吹吹牛。

h*i
发帖数: 3446
65
推荐读一下Nilsson这篇文章。
http://ai.stanford.edu/%7Enilsson/OnlinePubs-Nils/PublishedPapers/pssh.pdf

【在 h*i 的大作中提到】
: 其实都是大白话。学过一门AI课的应该都懂。
: 当然可能现在的AI课都不讲这些了?符号系统,不是标准说法么?
: https://en.wikipedia.org/wiki/Physical_symbol_system
: 如果现在的AI课都不讲这些了,我看第二个AI冬天就快来了吧。哈哈。

x****u
发帖数: 44466
66
符号主义已经死透了,火化完毕不会诈尸了

【在 h*i 的大作中提到】
: 其实都是大白话。学过一门AI课的应该都懂。
: 当然可能现在的AI课都不讲这些了?符号系统,不是标准说法么?
: https://en.wikipedia.org/wiki/Physical_symbol_system
: 如果现在的AI课都不讲这些了,我看第二个AI冬天就快来了吧。哈哈。

h*i
发帖数: 3446
67
就在不到十年以前,人们都在说神经网络死透了。Hinton这些人为什么到现在都还这么
bitter,因为实在是被整惨了,要钱没钱,文章也不让发。哈哈。
总而言之,不要人云亦云。当然了,就像我说的,都是混口饭吃,要求不能太高了。哈
哈。

【在 x****u 的大作中提到】
: 符号主义已经死透了,火化完毕不会诈尸了
T*******x
发帖数: 8565
68
这是你所说的啊,那看来并不是我所想的。这个符号系统已经搞了几十年,新的突破
应该不会在这里。

【在 h*i 的大作中提到】
: 其实都是大白话。学过一门AI课的应该都懂。
: 当然可能现在的AI课都不讲这些了?符号系统,不是标准说法么?
: https://en.wikipedia.org/wiki/Physical_symbol_system
: 如果现在的AI课都不讲这些了,我看第二个AI冬天就快来了吧。哈哈。

x****u
发帖数: 44466
69
只要你脑子还能用,神经网络就不会死,因为人脑物理结构就是神经网络
符号主义是来自于计算机发明前人类的幻想之一,被数学否定了就完蛋了。

【在 h*i 的大作中提到】
: 就在不到十年以前,人们都在说神经网络死透了。Hinton这些人为什么到现在都还这么
: bitter,因为实在是被整惨了,要钱没钱,文章也不让发。哈哈。
: 总而言之,不要人云亦云。当然了,就像我说的,都是混口饭吃,要求不能太高了。哈
: 哈。

h*i
发帖数: 3446
70
同样的话可以说ANN。“ANN已经搞了几十年,新的突破应该不会在这里”,结果如何?
我的预测,下一个突破,就是symbolic systems。
突破的方式也会和ANN突破的方式是一摸一样的,旧东西,新暴力,新场景,最重要的
,新名字。Mark my word.

这是你所说的啊,那看来并不是我所想的。这个符号系统已经搞了几十年,新的突破

【在 T*******x 的大作中提到】
: 这是你所说的啊,那看来并不是我所想的。这个符号系统已经搞了几十年,新的突破
: 应该不会在这里。

相关主题
神经网络研究的致命伤卫东,怎么用DL做clustering?
前途是光明的,道路是曲折的N个数字里面找出最大的5个数字的复杂度是什么?O(N)?
问几个神经网络的问题请教图像识别的人工智能算法 (转载)
进入Programming版参与讨论
h*i
发帖数: 3446
71
你个搞数学理论的对AI历史一点也不懂,瞎说啥呢。符号主义是在计算机发明都几十年
之后才产生的,是一个AI领域的理论假设。没有人搞AI,哪有啥符号主义。
你还要搞清楚,没有什么科学理论能被数学否定。数学是什么?数学是人的智能的*产
物*。 记住了,是心理活动的产物,和现实不一定有关系。科学理论只能被在现实活动
中的实践所否定。
上面这些都是常识。
没听说过科学哲学,波普尔啥的?你这个背景有点不够哦。推荐一本数学家写的吧,不
然你不服气。http://www.maths.manchester.ac.uk/~avb/micromath
"Mathematics is the study of mental objects with reproducible properties.",
page IX

【在 x****u 的大作中提到】
: 只要你脑子还能用,神经网络就不会死,因为人脑物理结构就是神经网络
: 符号主义是来自于计算机发明前人类的幻想之一,被数学否定了就完蛋了。

T*******x
发帖数: 8565
72
我同意你的地方是:真正的智能不可能是从大量数据调参中产生,这不符合人类的认识
方式。但是符号系统我觉得也不符合人类的认识方式。应该有新的方式,但是还没有出
现。

【在 h*i 的大作中提到】
: 同样的话可以说ANN。“ANN已经搞了几十年,新的突破应该不会在这里”,结果如何?
: 我的预测,下一个突破,就是symbolic systems。
: 突破的方式也会和ANN突破的方式是一摸一样的,旧东西,新暴力,新场景,最重要的
: ,新名字。Mark my word.
:
: 这是你所说的啊,那看来并不是我所想的。这个符号系统已经搞了几十年,新的突破

h*i
发帖数: 3446
73
我说的是广义的符号系统。不是你们知道的定律证明器那种。其实有一些靠谱的符号系
统的体系结构,不太为人所知,但我比较看好,具体我就不多说了。
我觉得ANN把知觉的问题解决得还可以了,我看目前deepmind等DL主流公司下面主要进
攻的方向是与RL结合和加上记忆功能,可能会有一定成效,但不加符号的东西也不行。
deepmind最近的一篇文章几乎就有点这个意思了。

【在 T*******x 的大作中提到】
: 我同意你的地方是:真正的智能不可能是从大量数据调参中产生,这不符合人类的认识
: 方式。但是符号系统我觉得也不符合人类的认识方式。应该有新的方式,但是还没有出
: 现。

h*i
发帖数: 3446
74
说人脑的结构和ANN一样的可能两个都不太懂。
ANN为啥能做backprop? 有两个基本条件,节点之间的链接是a. 可逆的;b.可导的。
这两条,生物的神经元都不符合:突触的工作方式其实是基本数字的(动作电位没有度
的概念, it's all or nothing);也是不可逆的,一个突触只能把信号从神经元A传到B,
反过来不行。学过基本的神经生理学就知道上面这些常识了。嗯,我的心理系没有白念
。哈哈。

【在 x****u 的大作中提到】
: 只要你脑子还能用,神经网络就不会死,因为人脑物理结构就是神经网络
: 符号主义是来自于计算机发明前人类的幻想之一,被数学否定了就完蛋了。

b****s
发帖数: 872
75
神经脉冲怎么编码,内容是什么,没人知道。
ANN都是搞计算机的瞎编的,连记忆在哪里都不知道,怎么可能知道大脑里的神经网络
是干嘛

【在 h*i 的大作中提到】
: 说人脑的结构和ANN一样的可能两个都不太懂。
: ANN为啥能做backprop? 有两个基本条件,节点之间的链接是a. 可逆的;b.可导的。
: 这两条,生物的神经元都不符合:突触的工作方式其实是基本数字的(动作电位没有度
: 的概念, it's all or nothing);也是不可逆的,一个突触只能把信号从神经元A传到B,
: 反过来不行。学过基本的神经生理学就知道上面这些常识了。嗯,我的心理系没有白念
: 。哈哈。

g****t
发帖数: 31659
76
神经信号的工作不一定是数字式的。也可能是模拟的。
不然胚胎的干细胞如何分化成不同的器官。
我以前写过一个论文,试图用什么multi agent人工智能模拟
干细胞self-organization,失败了。后来发现图灵也研究过生物化学。他的解释似乎
是什么
东西的化学浓度变化了,PDE的平衡解也就是平衡态可以走到几个点。
然后,那几个点表现为数字式的0,1。
以我粗浅的认识,生物电信号很难数字化解释。

【在 h*i 的大作中提到】
: 说人脑的结构和ANN一样的可能两个都不太懂。
: ANN为啥能做backprop? 有两个基本条件,节点之间的链接是a. 可逆的;b.可导的。
: 这两条,生物的神经元都不符合:突触的工作方式其实是基本数字的(动作电位没有度
: 的概念, it's all or nothing);也是不可逆的,一个突触只能把信号从神经元A传到B,
: 反过来不行。学过基本的神经生理学就知道上面这些常识了。嗯,我的心理系没有白念
: 。哈哈。

h*i
发帖数: 3446
77
我说的是“基本”是数字的。神经元最基本的工作方式,就是产生动作电位,并把它传
到下面一个神经元。动作电位本身是没有大小概念的,其实就是数字的,0和1。
动作电位本身是研究得非常清楚的。但这些神经数字脉冲(spikes)是如何编码的,现在
还没研究清楚。我以前上过一门Neural Computation的研究生课,成天就是看各种对此
的假设和研究文章,一大堆公式,各种synchrony啥的,作业全是数学证明和计算,所
以上完课啥也没记住。开课的是索南,科大少年班拿李政道物理奖金出国的,最后还是
给了我个A-,哈哈。
一个神经元接受很多其他神经元的输入,通过还不太清楚的很复杂的过程,决定是否产
生动作电位。这个复杂的过程,一般在工业界模拟起来,就简化为一个积分器的机制。
这其实就是IBM现在出品的那种神经芯片的工作原理,其好处是能耗很小,实现某一些
ML算法很容易。坏处是编程方式不是von neumann的,更像用模拟电路来编程。

【在 g****t 的大作中提到】
: 神经信号的工作不一定是数字式的。也可能是模拟的。
: 不然胚胎的干细胞如何分化成不同的器官。
: 我以前写过一个论文,试图用什么multi agent人工智能模拟
: 干细胞self-organization,失败了。后来发现图灵也研究过生物化学。他的解释似乎
: 是什么
: 东西的化学浓度变化了,PDE的平衡解也就是平衡态可以走到几个点。
: 然后,那几个点表现为数字式的0,1。
: 以我粗浅的认识,生物电信号很难数字化解释。

h*i
发帖数: 3446
78
是啊,不妨碍很多文章研究这个神经脉冲的编码。不少是学物理出身的。

【在 b****s 的大作中提到】
: 神经脉冲怎么编码,内容是什么,没人知道。
: ANN都是搞计算机的瞎编的,连记忆在哪里都不知道,怎么可能知道大脑里的神经网络
: 是干嘛

x****u
发帖数: 44466
79
符号主义AI,搞的就是人类知识符号化,逻辑推理程序化
折腾了几十年人类才发现难点是NP hard,绕不出去,所以马上就死了
哲学家因为数学没学好闹的笑话,从马克思开始就有很多

,

【在 h*i 的大作中提到】
: 你个搞数学理论的对AI历史一点也不懂,瞎说啥呢。符号主义是在计算机发明都几十年
: 之后才产生的,是一个AI领域的理论假设。没有人搞AI,哪有啥符号主义。
: 你还要搞清楚,没有什么科学理论能被数学否定。数学是什么?数学是人的智能的*产
: 物*。 记住了,是心理活动的产物,和现实不一定有关系。科学理论只能被在现实活动
: 中的实践所否定。
: 上面这些都是常识。
: 没听说过科学哲学,波普尔啥的?你这个背景有点不够哦。推荐一本数学家写的吧,不
: 然你不服气。http://www.maths.manchester.ac.uk/~avb/micromath
: "Mathematics is the study of mental objects with reproducible properties.",
: page IX

x****u
发帖数: 44466
80
RNN和LSTM说是记忆,就把记忆想得太简单了
这玩意其实就是序列化后的MLP

【在 h*i 的大作中提到】
: 我说的是广义的符号系统。不是你们知道的定律证明器那种。其实有一些靠谱的符号系
: 统的体系结构,不太为人所知,但我比较看好,具体我就不多说了。
: 我觉得ANN把知觉的问题解决得还可以了,我看目前deepmind等DL主流公司下面主要进
: 攻的方向是与RL结合和加上记忆功能,可能会有一定成效,但不加符号的东西也不行。
: deepmind最近的一篇文章几乎就有点这个意思了。

相关主题
最近内存加个飙升啊我们造轮子吧,轮子成败的关键应该是
大家了解Google的Search by Image的工作原理吗?CNN和template matching到底有啥区别
有人给过SURF的专利费么?〔转载〕扫描P民手机软件的技术分析(图)
进入Programming版参与讨论
x****u
发帖数: 44466
81
反向传导是模拟进化,人脑是几亿年进化出来的视觉皮层,没有BP你也得折腾几亿个个
体几亿年

【在 h*i 的大作中提到】
: 说人脑的结构和ANN一样的可能两个都不太懂。
: ANN为啥能做backprop? 有两个基本条件,节点之间的链接是a. 可逆的;b.可导的。
: 这两条,生物的神经元都不符合:突触的工作方式其实是基本数字的(动作电位没有度
: 的概念, it's all or nothing);也是不可逆的,一个突触只能把信号从神经元A传到B,
: 反过来不行。学过基本的神经生理学就知道上面这些常识了。嗯,我的心理系没有白念
: 。哈哈。

x****u
发帖数: 44466
82
神经元的原理已经被研究的很清楚了,问题是你没办法把里面的数据给dump出来,而且
就算有了数据,也搞不清其意义在哪里
这就好比地震的成因用现代物理可以描述,但预测预防地震还差的极远

【在 h*i 的大作中提到】
: 我说的是“基本”是数字的。神经元最基本的工作方式,就是产生动作电位,并把它传
: 到下面一个神经元。动作电位本身是没有大小概念的,其实就是数字的,0和1。
: 动作电位本身是研究得非常清楚的。但这些神经数字脉冲(spikes)是如何编码的,现在
: 还没研究清楚。我以前上过一门Neural Computation的研究生课,成天就是看各种对此
: 的假设和研究文章,一大堆公式,各种synchrony啥的,作业全是数学证明和计算,所
: 以上完课啥也没记住。开课的是索南,科大少年班拿李政道物理奖金出国的,最后还是
: 给了我个A-,哈哈。
: 一个神经元接受很多其他神经元的输入,通过还不太清楚的很复杂的过程,决定是否产
: 生动作电位。这个复杂的过程,一般在工业界模拟起来,就简化为一个积分器的机制。
: 这其实就是IBM现在出品的那种神经芯片的工作原理,其好处是能耗很小,实现某一些

h*i
发帖数: 3446
83
NP hard真不是啥大事。你不要这么执着。这儿大家都觉得你们搞的屠龙技的学问没啥
用,你不舒服没关系,但凡事都扯上这个就有点祥林嫂了。
不说人工智能的问题了,现实中计算机需要解决的很多问题形式化出来可能都是NP
hard,不妨碍人们构造出实用系统来。原因大家都跟你说了。一,同一个问题有很多不
同的建模的方法,不同方法,输入输出都不同,所以一个NP hard的问题可能轻易就绕
过了;二是,现实中大家不关心最优解,满意就行了。
你看不惯的司马贺等人的理论很重要的一点,就是人的智能是““bounded
rationality”,也就是说,是在承认人的计算能力有限,解决不了你的这些NP Hard问
题的情况下,人还是要解决问题的,这才是人的智能的表现。
人类的比较高级的知识,除了符号化之外,还真没有其他办法。不会搞符号化的动物,
都没有人类这么高的智能,这是明显的。高级认知上的推理不一定基于逻辑,但必然基
于符号。比如没有语言(符号)的话,很多高级认知就没法作。比如你我这儿发帖灌水
,你要说这都与符号无关,有几个人信?

【在 x****u 的大作中提到】
: 符号主义AI,搞的就是人类知识符号化,逻辑推理程序化
: 折腾了几十年人类才发现难点是NP hard,绕不出去,所以马上就死了
: 哲学家因为数学没学好闹的笑话,从马克思开始就有很多
:
: ,

h*i
发帖数: 3446
84
说得对。
不过你说记忆该咋整,不用符号的话?

【在 x****u 的大作中提到】
: RNN和LSTM说是记忆,就把记忆想得太简单了
: 这玩意其实就是序列化后的MLP

x****u
发帖数: 44466
85
NP hard就是人类逻辑推理的极限,你搞定了的话,全球数字加密和认证斗不用混了
现在DL大发展已经暗示了非逻辑的手段在数学上可能会比逻辑手段更有优势,但严格证
明还没有。

【在 h*i 的大作中提到】
: NP hard真不是啥大事。你不要这么执着。这儿大家都觉得你们搞的屠龙技的学问没啥
: 用,你不舒服没关系,但凡事都扯上这个就有点祥林嫂了。
: 不说人工智能的问题了,现实中计算机需要解决的很多问题形式化出来可能都是NP
: hard,不妨碍人们构造出实用系统来。原因大家都跟你说了。一,同一个问题有很多不
: 同的建模的方法,不同方法,输入输出都不同,所以一个NP hard的问题可能轻易就绕
: 过了;二是,现实中大家不关心最优解,满意就行了。
: 你看不惯的司马贺等人的理论很重要的一点,就是人的智能是““bounded
: rationality”,也就是说,是在承认人的计算能力有限,解决不了你的这些NP Hard问
: 题的情况下,人还是要解决问题的,这才是人的智能的表现。
: 人类的比较高级的知识,除了符号化之外,还真没有其他办法。不会搞符号化的动物,

x****u
发帖数: 44466
86
工作记忆,短期记忆,长期记忆,联想都要算进去的
LSTM光解决了短期记忆,写出的文章就和老年痴呆一个水平

【在 h*i 的大作中提到】
: 说得对。
: 不过你说记忆该咋整,不用符号的话?

h*i
发帖数: 3446
87
Backprop是模拟进化?What?
学会识别一只猫不是进化的结果,因为这不是天生的,对小孩和ANN来说,这都是从数
据中现学的,所以跟进化没啥关系。
感觉真有点鸡同鸭讲。

【在 x****u 的大作中提到】
: 反向传导是模拟进化,人脑是几亿年进化出来的视觉皮层,没有BP你也得折腾几亿个个
: 体几亿年

x****u
发帖数: 44466
88
识别猫当然是进化结果
卷积核权值都是天生的,所以才有密集恐惧,恶心等深层次感觉,而CNN BP训练里主要
运算量就是卷积
人类天生可以感知生物,至于区分猫狗只是微调
你对NN和生物了解都不够啊

【在 h*i 的大作中提到】
: Backprop是模拟进化?What?
: 学会识别一只猫不是进化的结果,因为这不是天生的,对小孩和ANN来说,这都是从数
: 据中现学的,所以跟进化没啥关系。
: 感觉真有点鸡同鸭讲。

h*i
发帖数: 3446
89
除了你在这儿不停的说“逻辑推理”,还有谁?
我都说了多次了,用符号系统不一定用逻辑。你好像听不进话的,跟你说话很吃力。

【在 x****u 的大作中提到】
: NP hard就是人类逻辑推理的极限,你搞定了的话,全球数字加密和认证斗不用混了
: 现在DL大发展已经暗示了非逻辑的手段在数学上可能会比逻辑手段更有优势,但严格证
: 明还没有。

h*i
发帖数: 3446
90
我问你不用符号咋整。

【在 x****u 的大作中提到】
: 工作记忆,短期记忆,长期记忆,联想都要算进去的
: LSTM光解决了短期记忆,写出的文章就和老年痴呆一个水平

相关主题
关于内存泄漏有一道著名面试题,问的就是怎么解停机问题
瓶颈在哪儿?王垠:程序设计里的“小聪明”(ZZ)
粉FP的人是因为把电脑想象成图灵机了一个农场主手工制作的图灵机录像
进入Programming版参与讨论
x****u
发帖数: 44466
91
我说的是符号主义
现在写CNN,tensor也是符号,你要是抬杠,英文字母也是。
你要是放弃了符号主义,用图像用符号都是一样的

格证

【在 h*i 的大作中提到】
: 除了你在这儿不停的说“逻辑推理”,还有谁?
: 我都说了多次了,用符号系统不一定用逻辑。你好像听不进话的,跟你说话很吃力。

h*i
发帖数: 3446
92
你开始说的是backprop是进化的结果。这咋回事,解释一下。
不要扯其他无关的。

【在 x****u 的大作中提到】
: 识别猫当然是进化结果
: 卷积核权值都是天生的,所以才有密集恐惧,恶心等深层次感觉,而CNN BP训练里主要
: 运算量就是卷积
: 人类天生可以感知生物,至于区分猫狗只是微调
: 你对NN和生物了解都不够啊

x****u
发帖数: 44466
93
CNN的BP主要运算量就是训练卷积层,生物天生卷积层就有预设权值

【在 h*i 的大作中提到】
: 你开始说的是backprop是进化的结果。这咋回事,解释一下。
: 不要扯其他无关的。

h*i
发帖数: 3446
94
你扯的符号主义是啥?是不是要按人家自己的定义来说才合适?我上面帖的nilson的文
章看看不就知道了么。符号就是符号,当然不是权重这些。

【在 x****u 的大作中提到】
: 我说的是符号主义
: 现在写CNN,tensor也是符号,你要是抬杠,英文字母也是。
: 你要是放弃了符号主义,用图像用符号都是一样的
:
: 格证

h*i
发帖数: 3446
95
不要忘了,我们这儿讨论的背景,是我在说BP这个过程不是生物上可能的。你提这个“
BP是模拟进化”的论点是想来反驳我,对不对?
如果是这样,你就需要解释清楚你说的“BP是模拟进化”是咋回事。不要在这儿瞎扯不
相关的。CNN只是一种ANN,所有ANN都要做BP。某种BP有预设值,与BP这个过程本身是
模拟进化可不是一回事。

【在 x****u 的大作中提到】
: CNN的BP主要运算量就是训练卷积层,生物天生卷积层就有预设权值
x****u
发帖数: 44466
96
CNN如果有预设卷积层权值,不需要BP也可以玩人工智能,可以手工构造上层效果更好
所以说你没入门啊

【在 h*i 的大作中提到】
: 不要忘了,我们这儿讨论的背景,是我在说BP这个过程不是生物上可能的。你提这个“
: BP是模拟进化”的论点是想来反驳我,对不对?
: 如果是这样,你就需要解释清楚你说的“BP是模拟进化”是咋回事。不要在这儿瞎扯不
: 相关的。CNN只是一种ANN,所有ANN都要做BP。某种BP有预设值,与BP这个过程本身是
: 模拟进化可不是一回事。

x****u
发帖数: 44466
97
百度定义如下:
符号主义属于现代人工智能范畴,基于逻辑推理的智能模拟方法模拟人的智能行为。
符号主义(Symbolism)是一种基于逻辑推理的智能模拟方法,又称为逻辑主义(
Logicism)、心理学派(Psychlogism)或计算机学派(Computerism),其原理主要为物理
符号系统(即符号操作系统)假设和有限合理性原理,长期以来,一直在人工智能中处
于主导地位,其代表人物是纽威尔、肖、西蒙和尼尔森。
你说说你的不逻辑推理的符号是啥玩意?

【在 h*i 的大作中提到】
: 你扯的符号主义是啥?是不是要按人家自己的定义来说才合适?我上面帖的nilson的文
: 章看看不就知道了么。符号就是符号,当然不是权重这些。

h*i
发帖数: 3446
98
BP要解决的问题,其实很简单,就是如何根据新数据来改变既有的已经学习到的结构,
同时又不能完全忘了以前学的,所以就用微分的办法来一点点的把结果的错误往回传播
来微调已有结构。在原理上,这和Web搜索用到的pagerank的计算很类似。说这个,目
的是说,BP只是一个办法,要做到同样的事,可能有很多其他的办法。BP肯定不会是最
好的办法。为什么?因为1.这种办法太慢了,所以需要很多很多数据,生物不需要这么
多数据。2.生物神经系统的结构是不支持BP的。

【在 h*i 的大作中提到】
: 不要忘了,我们这儿讨论的背景,是我在说BP这个过程不是生物上可能的。你提这个“
: BP是模拟进化”的论点是想来反驳我,对不对?
: 如果是这样,你就需要解释清楚你说的“BP是模拟进化”是咋回事。不要在这儿瞎扯不
: 相关的。CNN只是一种ANN,所有ANN都要做BP。某种BP有预设值,与BP这个过程本身是
: 模拟进化可不是一回事。

x****u
发帖数: 44466
99
BP模拟的是视觉皮层的进化,不是学习
但没有BP,你连模拟的视觉皮层斗没有,电脑连爬行动物都不如

【在 h*i 的大作中提到】
: BP要解决的问题,其实很简单,就是如何根据新数据来改变既有的已经学习到的结构,
: 同时又不能完全忘了以前学的,所以就用微分的办法来一点点的把结果的错误往回传播
: 来微调已有结构。在原理上,这和Web搜索用到的pagerank的计算很类似。说这个,目
: 的是说,BP只是一个办法,要做到同样的事,可能有很多其他的办法。BP肯定不会是最
: 好的办法。为什么?因为1.这种办法太慢了,所以需要很多很多数据,生物不需要这么
: 多数据。2.生物神经系统的结构是不支持BP的。

h*i
发帖数: 3446
100
你这就属于抬杠了,要是能手工构造的话,要劳什子CNN干什么,搞一个单层的NN就搞
定了。也许写两个rule更容易。哈哈。

【在 x****u 的大作中提到】
: CNN如果有预设卷积层权值,不需要BP也可以玩人工智能,可以手工构造上层效果更好
: 所以说你没入门啊

相关主题
我来科普下深度学习的应用范围吧问几个神经网络的问题
神经网络研究的致命伤卫东,怎么用DL做clustering?
前途是光明的,道路是曲折的N个数字里面找出最大的5个数字的复杂度是什么?O(N)?
进入Programming版参与讨论
x****u
发帖数: 44466
101
你这就是不懂CNN了
因为高层特征必须在低级特征之上提取,所以卷积层也要深度化,人类50年前就通过解
剖学发现了这个现象
比如说认识猫,你可以直接描述,长毛的脑袋,两只耳朵,两只眼睛,胡子,三瓣嘴,
这些东西都是视觉皮层直接输出的
对于自然界没有的东西,人类认起来就费力多了,比如老式客机上几百个仪表,瞬间感
知故障完全不可能,得配机械师

【在 h*i 的大作中提到】
: 你这就属于抬杠了,要是能手工构造的话,要劳什子CNN干什么,搞一个单层的NN就搞
: 定了。也许写两个rule更容易。哈哈。

h*i
发帖数: 3446
102
哈哈。你还是不得不承认了BP是模拟了一个一般意义上的反馈功能,而不是说BP这个学
习机制其实就是大脑学习的机制。BP这个机制又慢,又有很大的限制,只能搞连续变量
,生物上又不可能实现,承认这些,不就完了么,那你还跟我争个啥。哈哈。

【在 x****u 的大作中提到】
: BP模拟的是视觉皮层的进化,不是学习
: 但没有BP,你连模拟的视觉皮层斗没有,电脑连爬行动物都不如

h*i
发帖数: 3446
103
这些就算直接输出,也不说明大脑在实现CNN啊。只能说,哦,CNN能模拟大脑同样的功
能。所以我说DL现在基本解决了知觉问题,就是这个意思啊。能模拟功能而已。但你非
要说大脑也是在实现CNN,那就错了,搞反了。我反复跟你说了几条大脑实现不了CNN的
理由,你咋就听不进去呢?
再说,输出的是啥?不就是符号么。

【在 x****u 的大作中提到】
: 你这就是不懂CNN了
: 因为高层特征必须在低级特征之上提取,所以卷积层也要深度化,人类50年前就通过解
: 剖学发现了这个现象
: 比如说认识猫,你可以直接描述,长毛的脑袋,两只耳朵,两只眼睛,胡子,三瓣嘴,
: 这些东西都是视觉皮层直接输出的
: 对于自然界没有的东西,人类认起来就费力多了,比如老式客机上几百个仪表,瞬间感
: 知故障完全不可能,得配机械师

x****u
发帖数: 44466
104
你自己树个靶子有意思么?
BP是人工生成视觉皮层权值的方法,如果将来发明了直接把人脑视觉皮层数据dump出来
的办法,BP马上进垃圾堆
人类学习的过程和BP无关,机器学习的人类学习不是一个概念

【在 h*i 的大作中提到】
: 哈哈。你还是不得不承认了BP是模拟了一个一般意义上的反馈功能,而不是说BP这个学
: 习机制其实就是大脑学习的机制。BP这个机制又慢,又有很大的限制,只能搞连续变量
: ,生物上又不可能实现,承认这些,不就完了么,那你还跟我争个啥。哈哈。

x****u
发帖数: 44466
105
自己现造的定义没人看的,讨论AI是要用主流的语言
比如说卷积层输出的东西,你说张量也好,特征图,最不济也要说是滤波后的信号,符
号是啥玩意啊。。。
视觉皮层就是CNN的卷积结构,这个已经得了诺贝尔奖了,你装着没看见没用

过解
嘴,
间感

【在 h*i 的大作中提到】
: 这些就算直接输出,也不说明大脑在实现CNN啊。只能说,哦,CNN能模拟大脑同样的功
: 能。所以我说DL现在基本解决了知觉问题,就是这个意思啊。能模拟功能而已。但你非
: 要说大脑也是在实现CNN,那就错了,搞反了。我反复跟你说了几条大脑实现不了CNN的
: 理由,你咋就听不进去呢?
: 再说,输出的是啥?不就是符号么。

h*i
发帖数: 3446
106
有很多符号主义的系统是不基于逻辑推理的。操作符号的方法很多,比如chunking啥的
,不过是些计算机代码而已,但他们在操作符号。当然了,如果你要抬杠,说只要是计
算机代码都是逻辑推理,那就没有意义了,因为ANN也都是计算机代码。哈哈。

【在 x****u 的大作中提到】
: 百度定义如下:
: 符号主义属于现代人工智能范畴,基于逻辑推理的智能模拟方法模拟人的智能行为。
: 符号主义(Symbolism)是一种基于逻辑推理的智能模拟方法,又称为逻辑主义(
: Logicism)、心理学派(Psychlogism)或计算机学派(Computerism),其原理主要为物理
: 符号系统(即符号操作系统)假设和有限合理性原理,长期以来,一直在人工智能中处
: 于主导地位,其代表人物是纽威尔、肖、西蒙和尼尔森。
: 你说说你的不逻辑推理的符号是啥玩意?

x****u
发帖数: 44466
107
你这就是自己新定义了
AI的符号主义就是用电脑逻辑推理符号,你用google一搜结果也一样:
Symbolic artificial intelligence is the collective name for all methods in
artificial intelligence research that are based on high-level "symbolic" (
human-readable) representations of problems, logic and search. Symbolic AI
was the dominant paradigm of AI research from the mid-1950s until the late
1980s.

【在 h*i 的大作中提到】
: 有很多符号主义的系统是不基于逻辑推理的。操作符号的方法很多,比如chunking啥的
: ,不过是些计算机代码而已,但他们在操作符号。当然了,如果你要抬杠,说只要是计
: 算机代码都是逻辑推理,那就没有意义了,因为ANN也都是计算机代码。哈哈。

h*i
发帖数: 3446
108
是你在树靶子吧,我说DL如何不够,还是需要符号系统,你就跳出来说符号系统死了。
但DL必须要BP,你不承认是不行的。现在我把BP驳倒了,你就跑出来说BP可以不要了。
不要了还有啥?哈哈。

【在 x****u 的大作中提到】
: 你自己树个靶子有意思么?
: BP是人工生成视觉皮层权值的方法,如果将来发明了直接把人脑视觉皮层数据dump出来
: 的办法,BP马上进垃圾堆
: 人类学习的过程和BP无关,机器学习的人类学习不是一个概念

h*i
发帖数: 3446
109
你不是说都输出了指代猫眼睛猫耳朵的信号了吗?我觉得这就是大脑的符号实现了啊,
有什么问题?你以为符号是啥意思?

【在 x****u 的大作中提到】
: 自己现造的定义没人看的,讨论AI是要用主流的语言
: 比如说卷积层输出的东西,你说张量也好,特征图,最不济也要说是滤波后的信号,符
: 号是啥玩意啊。。。
: 视觉皮层就是CNN的卷积结构,这个已经得了诺贝尔奖了,你装着没看见没用
:
: 过解
: 嘴,
: 间感

x****u
发帖数: 44466
110
你先搞清楚AI的符号主义是啥玩意行不?

出来

【在 h*i 的大作中提到】
: 是你在树靶子吧,我说DL如何不够,还是需要符号系统,你就跳出来说符号系统死了。
: 但DL必须要BP,你不承认是不行的。现在我把BP驳倒了,你就跑出来说BP可以不要了。
: 不要了还有啥?哈哈。

相关主题
N个数字里面找出最大的5个数字的复杂度是什么?O(N)?大家了解Google的Search by Image的工作原理吗?
请教图像识别的人工智能算法 (转载)有人给过SURF的专利费么?
最近内存加个飙升啊我们造轮子吧,轮子成败的关键应该是
进入Programming版参与讨论
x****u
发帖数: 44466
111
其它人认可你新发明的名词后,你才可以用的
要不你先写篇paper把这些词汇都重新定义一遍?

【在 h*i 的大作中提到】
: 你不是说都输出了指代猫眼睛猫耳朵的信号了吗?我觉得这就是大脑的符号实现了啊,
: 有什么问题?你以为符号是啥意思?

h*i
发帖数: 3446
112
你自己孤陋寡闻,以为AI的符号主义就是定理证明那种,所以就被“数学否定”了。你
不知道AI的符号主义的办法多了。用某种单一逻辑的是一种,但有很多是用其他的符号
操作机制的,很多不是基于逻辑的,chunking啊,竞争啊,变形啊,搜索啊,各色各样
的。唯一的共同点就是他们都在操作明确的符号,所以很多代码传统用Lisp写。当然这
些操作符号的代码都是用布尔逻辑实现的,还能是啥。但这些操作如何就被“数学否定
了”?跟NP Hard又有啥关系?你扯半天这个玩意,说说看?

【在 x****u 的大作中提到】
: 你这就是自己新定义了
: AI的符号主义就是用电脑逻辑推理符号,你用google一搜结果也一样:
: Symbolic artificial intelligence is the collective name for all methods in
: artificial intelligence research that are based on high-level "symbolic" (
: human-readable) representations of problems, logic and search. Symbolic AI
: was the dominant paradigm of AI research from the mid-1950s until the late
: 1980s.

x****u
发帖数: 44466
113
你这纯属数理逻辑基础没学好。。。
能用布尔逻辑写出来的东西,都是广义上的推理,此类问题求解已被证明NPC。
In computer science, the Boolean Satisfiability Problem (sometimes called
Propositional Satisfiability Problem and abbreviated as SATISFIABILITY or
SAT) is the problem of determining if there exists an interpretation that
satisfies a given Boolean formula. In other words, it asks whether the
variables of a given Boolean formula can be consistently replaced by the
values TRUE or FALSE in such a way that the formula evaluates to TRUE. If
this is the case, the formula is called satisfiable. On the other hand, if
no such assignment exists, the function expressed by the formula is FALSE
for all possible variable assignments and the formula is unsatisfiable. For
example, the formula "a AND NOT b" is satisfiable because one can find the
values a = TRUE and b = FALSE, which make (a AND NOT b) = TRUE. In contrast,
"a AND NOT a" is unsatisfiable.
SAT is one of the first problems that was proven to be NP-complete. This
means that all problems in the complexity class NP, which includes a wide
range of natural decision and optimization problems, are at most as
difficult to solve as SAT. There is no known algorithm that efficiently
solves each SAT problem, and it is generally believed that no such algorithm
exists; yet this belief has not been proven mathematically, and resolving
the question whether SAT has a polynomial-time algorithm is equivalent to
the P versus NP problem, which is a famous open problem in the theory of
computing.

in
(
AI
late

【在 h*i 的大作中提到】
: 你自己孤陋寡闻,以为AI的符号主义就是定理证明那种,所以就被“数学否定”了。你
: 不知道AI的符号主义的办法多了。用某种单一逻辑的是一种,但有很多是用其他的符号
: 操作机制的,很多不是基于逻辑的,chunking啊,竞争啊,变形啊,搜索啊,各色各样
: 的。唯一的共同点就是他们都在操作明确的符号,所以很多代码传统用Lisp写。当然这
: 些操作符号的代码都是用布尔逻辑实现的,还能是啥。但这些操作如何就被“数学否定
: 了”?跟NP Hard又有啥关系?你扯半天这个玩意,说说看?

h*i
发帖数: 3446
114
ANN不是用布尔逻辑写出来的?咋就没有被”数学否定“了,符号系统怎么就被否定了
呢?你解释一下。
你承认自己孤陋寡闻,不知道还有不用逻辑作为推理机制的符号系统,这就完了,狡有
啥意思?

【在 x****u 的大作中提到】
: 你这纯属数理逻辑基础没学好。。。
: 能用布尔逻辑写出来的东西,都是广义上的推理,此类问题求解已被证明NPC。
: In computer science, the Boolean Satisfiability Problem (sometimes called
: Propositional Satisfiability Problem and abbreviated as SATISFIABILITY or
: SAT) is the problem of determining if there exists an interpretation that
: satisfies a given Boolean formula. In other words, it asks whether the
: variables of a given Boolean formula can be consistently replaced by the
: values TRUE or FALSE in such a way that the formula evaluates to TRUE. If
: this is the case, the formula is called satisfiable. On the other hand, if
: no such assignment exists, the function expressed by the formula is FALSE

x****u
发帖数: 44466
115
你这人缺常识还喜欢打滚。。。
现代CNN需要随机性才能有效训练,所以和布尔逻辑不等价
自己发明的一套词语还是先取得学术共识再上来秀比较不孤陋寡闻

【在 h*i 的大作中提到】
: ANN不是用布尔逻辑写出来的?咋就没有被”数学否定“了,符号系统怎么就被否定了
: 呢?你解释一下。
: 你承认自己孤陋寡闻,不知道还有不用逻辑作为推理机制的符号系统,这就完了,狡有
: 啥意思?

h*i
发帖数: 3446
116
用布尔逻辑为基础进行的计算,不一定就在作SAT推理啊,比如我作1+1的计算,用布尔
逻辑来在计算机上来实现,你的意思是这是NPC的,算不出来?
你确定你脑子没有糊涂?

【在 x****u 的大作中提到】
: 你这纯属数理逻辑基础没学好。。。
: 能用布尔逻辑写出来的东西,都是广义上的推理,此类问题求解已被证明NPC。
: In computer science, the Boolean Satisfiability Problem (sometimes called
: Propositional Satisfiability Problem and abbreviated as SATISFIABILITY or
: SAT) is the problem of determining if there exists an interpretation that
: satisfies a given Boolean formula. In other words, it asks whether the
: variables of a given Boolean formula can be consistently replaced by the
: values TRUE or FALSE in such a way that the formula evaluates to TRUE. If
: this is the case, the formula is called satisfiable. On the other hand, if
: no such assignment exists, the function expressed by the formula is FALSE

x****u
发帖数: 44466
117
大哥你真的念过书么?怎么跟王垠似的净出弱问题。
NPC表明的是问题求解的时间增长趋势是指数级,这话理解不了?

called
or
that
If
if
FALSE

【在 h*i 的大作中提到】
: 用布尔逻辑为基础进行的计算,不一定就在作SAT推理啊,比如我作1+1的计算,用布尔
: 逻辑来在计算机上来实现,你的意思是这是NPC的,算不出来?
: 你确定你脑子没有糊涂?

h*i
发帖数: 3446
118
DL一定要随机性才能work? 卫东来评论一下。
符号系统就不能有随机性?这个不用卫东,我来说就行了。符号系统也可以有随机的机
制。比如基于遗传算法的符号系统,随机性很重要。

【在 x****u 的大作中提到】
: 你这人缺常识还喜欢打滚。。。
: 现代CNN需要随机性才能有效训练,所以和布尔逻辑不等价
: 自己发明的一套词语还是先取得学术共识再上来秀比较不孤陋寡闻

h*i
发帖数: 3446
119
你不要车轱辘话,回避我的问题:是不是基于布尔逻辑的系统都是在解决一个SAT问题?
如果不是,你扯啥NPC不是毛病是什么?

【在 x****u 的大作中提到】
: 大哥你真的念过书么?怎么跟王垠似的净出弱问题。
: NPC表明的是问题求解的时间增长趋势是指数级,这话理解不了?
:
: called
: or
: that
: If
: if
: FALSE

x****u
发帖数: 44466
120
训练的话权值要随机按照经验公式分配,批SGD就是相当于你上山找不到路到处乱窜
可能成功下山,可能掉坑里陷住,也可能走到一个很平的地方转不出来,最后饿死,山
是特别高维度的现在人类对其特征了解不够

【在 h*i 的大作中提到】
: DL一定要随机性才能work? 卫东来评论一下。
: 符号系统就不能有随机性?这个不用卫东,我来说就行了。符号系统也可以有随机的机
: 制。比如基于遗传算法的符号系统,随机性很重要。

相关主题
CNN和template matching到底有啥区别瓶颈在哪儿?
〔转载〕扫描P民手机软件的技术分析(图)粉FP的人是因为把电脑想象成图灵机了
关于内存泄漏有一道著名面试题,问的就是怎么解停机问题
进入Programming版参与讨论
x****u
发帖数: 44466
121
你不明白NPC么?背包问题也是NPC,不代表你就不会整理行李了。

题?

【在 h*i 的大作中提到】
: 你不要车轱辘话,回避我的问题:是不是基于布尔逻辑的系统都是在解决一个SAT问题?
: 如果不是,你扯啥NPC不是毛病是什么?

h*i
发帖数: 3446
122
你又扯无关话题。
我的意思,是说符号系统也可以有随机性,所以用你自己的逻辑,也不能说“符号系统
被数学否定”了。比如用遗传算法作为主要推理机制的符号系统。

【在 x****u 的大作中提到】
: 训练的话权值要随机按照经验公式分配,批SGD就是相当于你上山找不到路到处乱窜
: 可能成功下山,可能掉坑里陷住,也可能走到一个很平的地方转不出来,最后饿死,山
: 是特别高维度的现在人类对其特征了解不够

x****u
发帖数: 44466
123
没兴趣讨论你自己发明的定义
而且我说的一直是“符号主义AI”,英语都发了你也要自立靶子么?脑补要有个限度

【在 h*i 的大作中提到】
: 你又扯无关话题。
: 我的意思,是说符号系统也可以有随机性,所以用你自己的逻辑,也不能说“符号系统
: 被数学否定”了。比如用遗传算法作为主要推理机制的符号系统。

x****u
发帖数: 44466
124
遗传算法的定义本来就和机器学习有重合
你这个“用遗传算法作为主要推理机制的符号系统”是把人家用了好久的东西重发现了
一遍还改了名字啊

【在 h*i 的大作中提到】
: 你又扯无关话题。
: 我的意思,是说符号系统也可以有随机性,所以用你自己的逻辑,也不能说“符号系统
: 被数学否定”了。比如用遗传算法作为主要推理机制的符号系统。

h*i
发帖数: 3446
125
背包问题和整理行李有啥关系?你不会以为所以人干的事都可以归到你那几个问题吧?
你这算是走火入魔了。
好吧,给你个题,说说看,你日常整理行李是如何归为背包问题的。
算了,更简单点, 算个1+1是如何归到NPC问题的。

【在 x****u 的大作中提到】
: 你不明白NPC么?背包问题也是NPC,不代表你就不会整理行李了。
:
: 题?

x****u
发帖数: 44466
126
Ft。。。NPC最神奇的地方就在于一类看来不相关的问题有共同本质特点,你找本书看
看成吧。先从初中看起,为什么即使f(x)为指数函数也可以取到接近零的值
SAT问题通俗的说,就是告诉你考试遇到不会做的题不要钻牛角尖,要凭着感觉蒙

【在 h*i 的大作中提到】
: 背包问题和整理行李有啥关系?你不会以为所以人干的事都可以归到你那几个问题吧?
: 你这算是走火入魔了。
: 好吧,给你个题,说说看,你日常整理行李是如何归为背包问题的。
: 算了,更简单点, 算个1+1是如何归到NPC问题的。

h*i
发帖数: 3446
127
用符号主义的AI里面就有用遗传算法为主要推理机制的方法啊。当时Holland发明遗传
算法,就是用来解决经典的符号主义AI问题的, 见“Holland, Adaptation in
Natural and Artificial Systems (1975, MIT Press)”
孤陋寡闻其实没啥,谁也不能说自己啥都懂,硬狡就没啥意思了。

【在 x****u 的大作中提到】
: 没兴趣讨论你自己发明的定义
: 而且我说的一直是“符号主义AI”,英语都发了你也要自立靶子么?脑补要有个限度

h*i
发帖数: 3446
128
莫非你以为用符号主义AI来建造的学习系统不是机器学习?
你的知识缺口还蛮大的。

【在 x****u 的大作中提到】
: 遗传算法的定义本来就和机器学习有重合
: 你这个“用遗传算法作为主要推理机制的符号系统”是把人家用了好久的东西重发现了
: 一遍还改了名字啊

x****u
发帖数: 44466
129
不要不懂装懂了成不?人家不是像你这样不看书,发现了布尔计算是死路一条后立即跳
船试验别的派别。
搞符号主义又不是参加了朝鲜劳动党,上贼船不让出来。学术界一人搞多竞争领域的比
比皆是。
你这时候不扯LISP AI了么?

【在 h*i 的大作中提到】
: 用符号主义的AI里面就有用遗传算法为主要推理机制的方法啊。当时Holland发明遗传
: 算法,就是用来解决经典的符号主义AI问题的, 见“Holland, Adaptation in
: Natural and Artificial Systems (1975, MIT Press)”
: 孤陋寡闻其实没啥,谁也不能说自己啥都懂,硬狡就没啥意思了。

x****u
发帖数: 44466
130
我看你这个id肯定是机器学习,闪了

现了

【在 h*i 的大作中提到】
: 莫非你以为用符号主义AI来建造的学习系统不是机器学习?
: 你的知识缺口还蛮大的。

相关主题
王垠:程序设计里的“小聪明”(ZZ)神经网络研究的致命伤
一个农场主手工制作的图灵机录像前途是光明的,道路是曲折的
我来科普下深度学习的应用范围吧问几个神经网络的问题
进入Programming版参与讨论
h*i
发帖数: 3446
131
我在考你呢,说说看,如何归的。不要回避哦。

【在 x****u 的大作中提到】
: Ft。。。NPC最神奇的地方就在于一类看来不相关的问题有共同本质特点,你找本书看
: 看成吧。先从初中看起,为什么即使f(x)为指数函数也可以取到接近零的值
: SAT问题通俗的说,就是告诉你考试遇到不会做的题不要钻牛角尖,要凭着感觉蒙

x****u
发帖数: 44466
132
赞“考你”

书看

【在 h*i 的大作中提到】
: 我在考你呢,说说看,如何归的。不要回避哦。
h*i
发帖数: 3446
133
没有跳船啊。我在请你描述一下用布尔逻辑算1+1是如何归到NPC问题上去的。你倒是接
招啊。我是真心想要学习一下。

【在 x****u 的大作中提到】
: 不要不懂装懂了成不?人家不是像你这样不看书,发现了布尔计算是死路一条后立即跳
: 船试验别的派别。
: 搞符号主义又不是参加了朝鲜劳动党,上贼船不让出来。学术界一人搞多竞争领域的比
: 比皆是。
: 你这时候不扯LISP AI了么?

h*i
发帖数: 3446
134
好吧,我在向你虚心请教。真的,我很想知道1+1是怎么归为一个NPC问题的。
求你了,教教我们这样伟大的绝杀的屠龙技术吧,以后我们也可以像你老这样所向披靡
,一招制敌。

【在 x****u 的大作中提到】
: 赞“考你”
:
: 书看

x****u
发帖数: 44466
135
好吧,你先想想王垠为啥把这篇熊文给删了
http://skmzq.qiniucdn.com/data/20130407121336/index.html

【在 h*i 的大作中提到】
: 没有跳船啊。我在请你描述一下用布尔逻辑算1+1是如何归到NPC问题上去的。你倒是接
: 招啊。我是真心想要学习一下。

x****u
发帖数: 44466
136
看一下王垠熊文,我要吃饭了
估计之后几天上不了网,下周再说

【在 h*i 的大作中提到】
: 好吧,我在向你虚心请教。真的,我很想知道1+1是怎么归为一个NPC问题的。
: 求你了,教教我们这样伟大的绝杀的屠龙技术吧,以后我们也可以像你老这样所向披靡
: ,一招制敌。

h*i
发帖数: 3446
137
别跑啊。
我们讨论的问题跟王垠啥关系?
莫非这是你承认失败的方式?好吧,我接受你的认输,也不追你了。哈哈。

【在 x****u 的大作中提到】
: 好吧,你先想想王垠为啥把这篇熊文给删了
: http://skmzq.qiniucdn.com/data/20130407121336/index.html

h*i
发帖数: 3446
138
看了看王垠熊文,原来是讲啥N=NP的,直接跳过。
看来这位龙猫同学真的走火入魔了,看啥都觉得是N,NP, NPC, blahblah。
各位看官,听我劝一句,以后你的小孩学啥也不要学理论计算机哦,这玩意比冰毒还厉
害。哈哈。

【在 x****u 的大作中提到】
: 看一下王垠熊文,我要吃饭了
: 估计之后几天上不了网,下周再说

k****i
发帖数: 101
139
数据硬件暴兵,归纳法妙笔生花,大规模试错证伪使然。

【在 f***n 的大作中提到】
: 各种算法很早之前不就有了吗? 为什么近几年突然火了起来?
: 是哪方面近几年取得了突破?
: 诚心求教

x****u
发帖数: 44466
140
王垠和你疑惑的原因就是跳过的太多了

【在 h*i 的大作中提到】
: 看了看王垠熊文,原来是讲啥N=NP的,直接跳过。
: 看来这位龙猫同学真的走火入魔了,看啥都觉得是N,NP, NPC, blahblah。
: 各位看官,听我劝一句,以后你的小孩学啥也不要学理论计算机哦,这玩意比冰毒还厉
: 害。哈哈。

相关主题
问几个神经网络的问题请教图像识别的人工智能算法 (转载)
卫东,怎么用DL做clustering?最近内存加个飙升啊
N个数字里面找出最大的5个数字的复杂度是什么?O(N)?大家了解Google的Search by Image的工作原理吗?
进入Programming版参与讨论
d*****n
发帖数: 754
141
Contrast divergence, equivalency between stacked RBM and dbn. Regularization
thru unsupervised retrain, drop out
[在 hci (海螺子) 的大作中提到:]
:哪有啥突破,其实就是终于有李飞飞来弄出了足够多的数据。
h*i
发帖数: 3446
142
我可没啥疑惑的,我笃定得很,这套理论计算机的玩意没啥卵用,你们自己自娱自乐好
了,不要出来丢人就行。

【在 x****u 的大作中提到】
: 王垠和你疑惑的原因就是跳过的太多了
h*i
发帖数: 3446
143
这些玩意不是DL没有火之前就有的么?人家问的是为啥这几年火了,你这些都不是答案
啊。

Regularization

【在 d*****n 的大作中提到】
: Contrast divergence, equivalency between stacked RBM and dbn. Regularization
: thru unsupervised retrain, drop out
: [在 hci (海螺子) 的大作中提到:]
: :哪有啥突破,其实就是终于有李飞飞来弄出了足够多的数据。

b****s
发帖数: 872
144
把神经元看成逻辑电路那样的0和1,可能根本就不对。
0可以代表不存在,1可以代表存在,只有两个状态。
神经元除了这两个状态,长时间接受同样刺激,也不反应了,所以还有第三个状态,表
示外界变化。
所以才会有进入有味道的屋子,长时间感觉不到味道了,习惯了。
最基本的状态上,多一个,就变成完全不同的东西了。

【在 h*i 的大作中提到】
: 是啊,不妨碍很多文章研究这个神经脉冲的编码。不少是学物理出身的。
h*i
发帖数: 3446
145
没人把神经元看成逻辑电路那样的。我都说了,神经元接受很多其他神经元的输入,这
个神经元反不反应,什么情况下反应,这些都是没有研究明白的问题。这就已经和数字
逻辑电路完全不同了。最简化的方式,就是用一个类似积分器的东西来模拟神经元,就
如IBM的现在出产的神经芯片那样,但这就已经造成了一个非von neumann的计算模式了
,传统的数字计算机的技术大多都不适用了。
但话说回来,神经元之间的主要信息传递方式,就是突触把一个神经元上的动作电位传
到另一个神经元,这个传送方式,是基本上一个数字的模式,因为动作电位要么存在,
要么不存在,动作电位本身不传递一个值的大小的概念。同时,突触是不可逆的,只能
从A到B,不能从B到A。这些都是与ANN在根本上的不同。

【在 b****s 的大作中提到】
: 把神经元看成逻辑电路那样的0和1,可能根本就不对。
: 0可以代表不存在,1可以代表存在,只有两个状态。
: 神经元除了这两个状态,长时间接受同样刺激,也不反应了,所以还有第三个状态,表
: 示外界变化。
: 所以才会有进入有味道的屋子,长时间感觉不到味道了,习惯了。
: 最基本的状态上,多一个,就变成完全不同的东西了。

b****s
发帖数: 872
146
这只是你不这么看。
这里大部分人都把大脑想的和电脑相似,用什么图灵机。电脑不是用逻辑电路,布尔代
数的。

【在 h*i 的大作中提到】
: 没人把神经元看成逻辑电路那样的。我都说了,神经元接受很多其他神经元的输入,这
: 个神经元反不反应,什么情况下反应,这些都是没有研究明白的问题。这就已经和数字
: 逻辑电路完全不同了。最简化的方式,就是用一个类似积分器的东西来模拟神经元,就
: 如IBM的现在出产的神经芯片那样,但这就已经造成了一个非von neumann的计算模式了
: ,传统的数字计算机的技术大多都不适用了。
: 但话说回来,神经元之间的主要信息传递方式,就是突触把一个神经元上的动作电位传
: 到另一个神经元,这个传送方式,是基本上一个数字的模式,因为动作电位要么存在,
: 要么不存在,动作电位本身不传递一个值的大小的概念。同时,突触是不可逆的,只能
: 从A到B,不能从B到A。这些都是与ANN在根本上的不同。

h*i
发帖数: 3446
147
所以我算在这儿科普吧。哈哈。
听不听得进去,我就不敢保证了。

【在 b****s 的大作中提到】
: 这只是你不这么看。
: 这里大部分人都把大脑想的和电脑相似,用什么图灵机。电脑不是用逻辑电路,布尔代
: 数的。

H****S
发帖数: 1359
148
我试着回答一下这个问题。最古老的AI学习算法是上世纪50,60年代提出的perceptron
算法,说白了就是完全前向输出(feedforward)神经网络,输入和输出之间的连接权
值也会更据输出结果和目标值之间的同于不同发生改变,但是是一种机械的改变,不是
基于回馈(backpropagation)的改变。这么一个算法虽然简单,但是刚刚诞生的时候
却着实引起了轰动,perceptron的作者声称这个算法已经可以解决所有的AI学习问题,
AI的真正实现似乎已经唾手可及。好景不长,随后有人专门写了一本书数学证明了
perceptron无法解决的一系列AI问题,其中一个简单例子暨perceptron无法辨别
wrapped sequences,比如1234和4123其实指向的是同一个pattern。这个问题对于人类
来说如此简单,但是perceptron却是完败,再加上之前的对神经网络的hype又太高,导
致了后者一时间臭名昭著。Hinton说他选择研究神经网络做方向的时候,同行几乎见面
就和他说神经网络是没有前途的。之后神经网络重新崛起肇始于Hinton划时代的
Backprogagation论文,之后虽然Vapnik的SVM风骚了一段时间,但是正如Lecun后来所
说ML的路子完全被俄罗斯老头给带歪了,descriminative learning忽略了数据自身的
规律,一味追求最小偏差律的decision boundary。这个所谓的“错误”带来的是
feature engineering的兴起,早几年做ML的都知道算法其实真的还好,那时候大家都
是拼的谁整出来的features更具有代表性,而后者又需要大量的domain knowledge。这
造成了ML这一个领域搞图像识别,文字处理和机器翻译的同行们互相说起话来简直就如
鸡同鸭讲。深度学习的兴起代表了神经网络的王者回归,大家突然发现原来神经网络除
了做普通机器学习以外,原来还兼有learn to engineer features的功能(隐含层(
hidden layer)的输出),并且这个学出来的features事实上完胜各行各业专家们深耕
数年的成果。我那会做图像识别的几乎无人不知大名鼎鼎的SIFT,说白了就是一种从
raw pixels中抽取特征(feature)的方法,我想现在做图像识别的再用SIFT简直就让
人笑掉大牙,直接上CNN嘛。这个例子揭示了一个深刻的事实,在DL出现以后,各行各
业对domain knowledge的依赖大大降低,因为再也不需要大量人力投入来研究提取复杂
的features,神经网络本身既做class label learning也做feature learning。不光如
此,正确率相对于传统ML算法也大大提高了。当然还有很多其他因素,但是就你的问题
,为何神经网络和机器学习重新“复火”,以上就是我琢磨出来的一部分原因。

【在 f***n 的大作中提到】
: 各种算法很早之前不就有了吗? 为什么近几年突然火了起来?
: 是哪方面近几年取得了突破?
: 诚心求教

h*i
发帖数: 3446
149
backprop都出来了好几十年了,ANN照样都快死了。你说的这些都与DL兴起无关。
最根本的原因,就是DL的办法在imagenet2012大胜引起了轰动,把错误率从25%一把降
到了16%。不要以为我说的“终于有李飞飞来搞出了足够多的数据“是在说笑话,这就
是根本原因。因为DL就是需要很多很多的ground truth,以前他们从来就没得到过这么
多的数据。
然后大家就在各种问题上开始试用DL了。同时各种理论家就跳出来包装了。然后就有了
今天。

perceptron

【在 H****S 的大作中提到】
: 我试着回答一下这个问题。最古老的AI学习算法是上世纪50,60年代提出的perceptron
: 算法,说白了就是完全前向输出(feedforward)神经网络,输入和输出之间的连接权
: 值也会更据输出结果和目标值之间的同于不同发生改变,但是是一种机械的改变,不是
: 基于回馈(backpropagation)的改变。这么一个算法虽然简单,但是刚刚诞生的时候
: 却着实引起了轰动,perceptron的作者声称这个算法已经可以解决所有的AI学习问题,
: AI的真正实现似乎已经唾手可及。好景不长,随后有人专门写了一本书数学证明了
: perceptron无法解决的一系列AI问题,其中一个简单例子暨perceptron无法辨别
: wrapped sequences,比如1234和4123其实指向的是同一个pattern。这个问题对于人类
: 来说如此简单,但是perceptron却是完败,再加上之前的对神经网络的hype又太高,导
: 致了后者一时间臭名昭著。Hinton说他选择研究神经网络做方向的时候,同行几乎见面

H****S
发帖数: 1359
150
ANN之前半死不活被SVM压得死死的,是因为业界还是把它简单的作为机器学习算法的一
种,没有人认识到隐含层的重要意义。所有即便那时有人使用ANN,大部分只用一个隐
含层,也有完全不用隐含层的,那就成了logistic regression了。突破口是Hinton划
时代的向所有人展示原来神经网络是可以学习feature的。2002年的那篇science文章把
一个原始features高度耦合的文档分类问题转化成了另外一个feature set,后者视觉
上就线性可分。我同意正确率显著提高也是一个里程碑,不过在SVM最风骚的那几年,
大家都在研究kernel space,神经网络如果只是单纯提高正确率,我相信不少人的第一
想法肯定会是还有更牛的kernel space可以完胜神经网络,只是还没被找到而已。

【在 h*i 的大作中提到】
: backprop都出来了好几十年了,ANN照样都快死了。你说的这些都与DL兴起无关。
: 最根本的原因,就是DL的办法在imagenet2012大胜引起了轰动,把错误率从25%一把降
: 到了16%。不要以为我说的“终于有李飞飞来搞出了足够多的数据“是在说笑话,这就
: 是根本原因。因为DL就是需要很多很多的ground truth,以前他们从来就没得到过这么
: 多的数据。
: 然后大家就在各种问题上开始试用DL了。同时各种理论家就跳出来包装了。然后就有了
: 今天。
:
: perceptron

相关主题
有人给过SURF的专利费么?〔转载〕扫描P民手机软件的技术分析(图)
我们造轮子吧,轮子成败的关键应该是关于内存泄漏
CNN和template matching到底有啥区别瓶颈在哪儿?
进入Programming版参与讨论
h*i
发帖数: 3446
151
Hinton写他的"划时代的"文章的时候多了,还是没有人鸟他。人都是势利的,你的方法
出不了好结果,你再“划时代”也没人鸟你。有哪个搞自己一套的不觉得自己的东东是
划时代的?你的东西出了好结果,大家就会一拥而上,用各种姿势进行跪舔和包装。
DL的故事,就是上面现象的最形象的现世表演,正在进行时。
当然你也可以看成是励志故事,虽然比不上张益唐的故事,也有点类似的意思了。不过
Hinton太bitter了,心眼比较小,和老张比起来还是差很多。

【在 H****S 的大作中提到】
: ANN之前半死不活被SVM压得死死的,是因为业界还是把它简单的作为机器学习算法的一
: 种,没有人认识到隐含层的重要意义。所有即便那时有人使用ANN,大部分只用一个隐
: 含层,也有完全不用隐含层的,那就成了logistic regression了。突破口是Hinton划
: 时代的向所有人展示原来神经网络是可以学习feature的。2002年的那篇science文章把
: 一个原始features高度耦合的文档分类问题转化成了另外一个feature set,后者视觉
: 上就线性可分。我同意正确率显著提高也是一个里程碑,不过在SVM最风骚的那几年,
: 大家都在研究kernel space,神经网络如果只是单纯提高正确率,我相信不少人的第一
: 想法肯定会是还有更牛的kernel space可以完胜神经网络,只是还没被找到而已。

j*********2
发帖数: 2
152
这种 Kernel 有希望吗
http://www.stat.rutgers.edu/home/pingli/papers/epGMM.pdf
好像还是太简单了一点
l*****z
发帖数: 3022
153
大牛们评价一下最近火爆的“干”网络?

【在 H****S 的大作中提到】
: ANN之前半死不活被SVM压得死死的,是因为业界还是把它简单的作为机器学习算法的一
: 种,没有人认识到隐含层的重要意义。所有即便那时有人使用ANN,大部分只用一个隐
: 含层,也有完全不用隐含层的,那就成了logistic regression了。突破口是Hinton划
: 时代的向所有人展示原来神经网络是可以学习feature的。2002年的那篇science文章把
: 一个原始features高度耦合的文档分类问题转化成了另外一个feature set,后者视觉
: 上就线性可分。我同意正确率显著提高也是一个里程碑,不过在SVM最风骚的那几年,
: 大家都在研究kernel space,神经网络如果只是单纯提高正确率,我相信不少人的第一
: 想法肯定会是还有更牛的kernel space可以完胜神经网络,只是还没被找到而已。

l*******m
发帖数: 1096
154
热劲过了,左右互搏,和RL类似
openai吹了半天,最近又转向主攻RL, 似乎不是太顺
不过自己写一个gan, 还是能有些收获的

【在 l*****z 的大作中提到】
: 大牛们评价一下最近火爆的“干”网络?
c*****e
发帖数: 3226
155
在理

perceptron

【在 H****S 的大作中提到】
: 我试着回答一下这个问题。最古老的AI学习算法是上世纪50,60年代提出的perceptron
: 算法,说白了就是完全前向输出(feedforward)神经网络,输入和输出之间的连接权
: 值也会更据输出结果和目标值之间的同于不同发生改变,但是是一种机械的改变,不是
: 基于回馈(backpropagation)的改变。这么一个算法虽然简单,但是刚刚诞生的时候
: 却着实引起了轰动,perceptron的作者声称这个算法已经可以解决所有的AI学习问题,
: AI的真正实现似乎已经唾手可及。好景不长,随后有人专门写了一本书数学证明了
: perceptron无法解决的一系列AI问题,其中一个简单例子暨perceptron无法辨别
: wrapped sequences,比如1234和4123其实指向的是同一个pattern。这个问题对于人类
: 来说如此简单,但是perceptron却是完败,再加上之前的对神经网络的hype又太高,导
: 致了后者一时间臭名昭著。Hinton说他选择研究神经网络做方向的时候,同行几乎见面

1 (共1页)
进入Programming版参与讨论
相关主题
粉FP的人是因为把电脑想象成图灵机了卫东,怎么用DL做clustering?
有一道著名面试题,问的就是怎么解停机问题N个数字里面找出最大的5个数字的复杂度是什么?O(N)?
王垠:程序设计里的“小聪明”(ZZ)请教图像识别的人工智能算法 (转载)
一个农场主手工制作的图灵机录像最近内存加个飙升啊
我来科普下深度学习的应用范围吧大家了解Google的Search by Image的工作原理吗?
神经网络研究的致命伤有人给过SURF的专利费么?
前途是光明的,道路是曲折的我们造轮子吧,轮子成败的关键应该是
问几个神经网络的问题CNN和template matching到底有啥区别
相关话题的讨论汇总
话题: 符号话题: ai话题: npc话题: 系统话题: bp