由买买提看人间百态

topics

全部话题 - 话题: dnn
1 2 3 4 5 6 7 8 9 下页 末页 (共9页)
h*i
发帖数: 3446
1
来自主题: Programming版 - DNN就是hype (转载)
【 以下文字转载自 JobHunting 讨论区 】
发信人: hci (海螺子), 信区: JobHunting
标 题: DNN就是hype
发信站: BBS 未名空间站 (Fri Feb 19 15:11:57 2016, 美东)
”同一算法解决很多不同的问题“, 换个说法,其实就是overfit。尼玛上亿的参数,
当然啥都能fit, 但是,换个数据就都不能用了,要重新训练。学的也都是些奇怪的特
征,没有什么能重用的东西,和人知道的概念更是不沾边。
总的说来,现在DNN解决的都是些人本身就觉得简单的问题,比如知觉,模式识别啥的
,而且必须要有海量的现成的ground truth.人觉得难的问题,大多是没有现成ground
truth的。不说别的,最简单的常识推理,DNN就搞不定。
视觉,听觉, 这些知觉任务,不懂计算机的人都觉得很简单,因为比较而言,它就是人
能干的最简单的任务。
那下棋是不是高大上的任务?其实不是,学过认知心理学的都知道,下棋,要下得好,
其实也主要是知觉任务,就是靠记忆和识别模式,用所谓chunking的策略,一盘棋,常
人看有很多信息,记不住,训练过的棋手... 阅读全帖
R**********g
发帖数: 22734
2
来自主题: JobHunting版 - DNN就是hype
你这就强人所难了要直接ai complete。任何系统都有scope,也需要定义scope。你问
的东西不能出现在我的训练数据中,那么至少其scope要在我的训练数据中。如果你要
做一个万能机器人,可以理解一切回答一切,那就是做一个人了,当然做不到。
但是只要你给定一个scope,dnn能够比所有以前的方法做得都要好。这是我说的意思。
你说我不能解决ai就是傻子那我也没办法,我说的是你给我个ai问题,有商业价值的,
定义好的,我用dnn,你不用dnn,咱们比一比,dnn有九成把握超过你的传统方法。
我这么说明确了吧?咱别老跟人脑比,咱比的是程序对程序,算法对算法,模型对模型
。好吧? 你说说,你定义的回答所有问题这件事,传统方法是啥,效果如何。
R**********g
发帖数: 22734
3
来自主题: JobHunting版 - DNN就是hype
其实咱这么说吧,DNN是新的编程语言,好比高级语言刚出现的时候,把寄存器,中断
都隐藏了,java出来,把内存分配啥都隐藏了,dnn把整个图灵机都隐藏了。什么
overfit,其实大家都在overfit以前人脑overfit现在电脑自己overfit.
高级语言刚出来你有范型,继承各种幺蛾子吗?现在也是一样,不是dnn是hype,而是
刚起步。未来的方向就是纯描述性编程。我要搞个技术,如此这般的需求,电脑你去办
吧。还很遥远,但是会有那一天。

ground
R**********g
发帖数: 22734
4
来自主题: JobHunting版 - DNN就是hype
一个问题,谁都不能解决,那咱就暂时不解决。有的问题dnn能解决,旧方法不能,那
dnn就牛了,扩展了人类计算技术的疆域,就不是hype。
和任何技术一样,dnn也有局限,就像统计机器学习代替规则,三十年后也碰到天花板
一样。但是今天还没碰到天花板,所有领域都在打破纪录。你这么说hype,只能呵呵了。
h*i
发帖数: 3446
5
来自主题: JobHunting版 - DNN就是hype
”同一算法解决很多不同的问题“, 换个说法,其实就是overfit。尼玛上亿的参数,
当然啥都能fit, 但是,换个数据就都不能用了,要重新训练。学的也都是些奇怪的特
征,没有什么能重用的东西。
总的说来,现在DNN解决的都是些人本身就觉得简单的问题,比如知觉,模式识别啥的
,而且必须要有海量的现成的ground truth.人觉得难的问题,大多是没有现成ground
truth的。不说别的,最简单的常识推理,DNN就搞不定。
h*i
发帖数: 3446
6
来自主题: JobHunting版 - DNN就是hype
overfit是最容易的,能overfit的系统多了去了。问题关键是人要能够驾驭它。
DNN的上亿参数人完全不能驾驭,没法影响,如何用它来编程?这不是更高级的抽象,
反而是更低级的抽象。更高级的抽象是越来越接近人的思维和意识,DNN这种算是神经
元级别的抽象,完全不可被人驾驭,就如人的意识不能控制自己的单个神经元一样,就
是驾驭了也没啥用,因为总体大于个体的和。
h*i
发帖数: 3446
7
来自主题: JobHunting版 - DNN就是hype
我知道还不能做,是因为我知道现在在用DNN来做推理的人在做什么,做的水平如何。
现在用DNN做的,还做不到用简单办法的水平。我也不看好它将来能做得更好,原因就
是我说的,大部分有意思的问题,是没有ground truth的问题。
h*i
发帖数: 3446
8
来自主题: JobHunting版 - DNN就是hype
做不到早说啊,你刚才不是说轻松搞定么?我说的scope很清楚啊,就是常识推理。
让我科普一下吧。常识推理的难点就是如何定义它。如果我知道只需要回答吃饭问题,
我直接上rule了,不用搞啥DNN。问题是我不知道什么是常识,所谓的开放世界假设。现
有的解决办法就是搞常识数据库,但再大的数据库,也不可能包括所有人觉得是常识的
东东,所以现在很多研究就是从现有数据库,用推理的办法来补全。DNN也被用来搞这
个活动,不少所谓大牛,G家的,还有Stanford的人做这个,但不是很work。
h*i
发帖数: 3446
9
来自主题: JobHunting版 - DNN就是hype
这就是我说的不怎么work的工作。现在研究重点也放到了如何与其它方法结合了。
我想说的,无非是DNN只是一个工具盒里的工具,根据需要来应用。如果能有海量的
ground truth,任务也比较单一,不需要太多customization, 也没有很严格的空间性
能需求,没有malicious attack http://arxiv.org/abs/1412.1897, DNN很好。但是,符合这些条件的用例有多少?也许还能开发出一些新的用例
,但大体来看,适用范围还是很有限的。
h*i
发帖数: 3446
10
来自主题: JobHunting版 - DNN就是hype
一个模型能够overfit这是必要条件,也就是说,这个模型必须足够灵活能涵盖这个领
域所需要的function space。然后再来谈how to deal with overfit的问题。如果连我
说的这个都没有意识到的,ML还没入门,还是纯追星族的水平。
从理论上讲,DNN能干的,一层NN也能干,无非是不知道如何训练而已。现在DNN解决了
backprogatation的一些具体实现问题,但是我们并没有得到任何理论突破。
最后,从大的方面来讲,ANN只是AI的一种办法,适用于解决某些问题,但认为ANN能解
决AI所有问题,那完全就是脑残。这个结论目前还没有任何证据表明是错的。
q********u
发帖数: 15519
11
小铀矿DNN等发狂的一点解读?请大牛指正?
最近一段时间的小铀矿股价发狂?令人瞩目?本胡想想一再疑问?到底是啥事?
今早做了一点探索?解读如下?
一 中国从加拿大购买十年期的一万吨铀?最近又从法国购买两万吨铀?所以铀矿看好?
二 中国的核能正在加速发展?核电厂高速发展?军用核武器可能也在迅速增加?目的
一目了然?
三 中国正在大量囤积战略铀资源?吸取铁矿石和稀土的严酷教训?乘着铀价格还比较
低廉加速进口囤
积?
四 中国已经在澳大利亚购买了几个铀矿?中国官方和民间资本正在加速进入全球铀矿
公司?尤其是小
铀矿?
五 许多海内外有钱华人参与中国的铀战略?所以海外股坛上才出现了不要命推荐抢购
小铀矿的信息?
六 中国正在积极加紧准备第三次世界大战?快速发展战略威慑核武器可能就是中国的
战略本钱?中国
每年只能生产一千吨铀?远远满足不了需求?
七 中国核能电站是满足中国经济发展需求的重要战略?
八 似乎中国也在西亚地区大量购买战略铀资源?
以上是一点本胡想想对最近小铀矿疯涨的解读?
请大师和大牛指正?
本胡想想也有点心动小铀矿啦?
尤其是紫金大师极力推荐的DNN?
w*****r
发帖数: 197
12
来自主题: EE版 - FPGA-based DNNs (转载)
【 以下文字转载自 Programming 讨论区 】
发信人: wflower (流), 信区: Programming
标 题: FPGA-based DNNs
发信站: BBS 未名空间站 (Wed Sep 27 09:55:49 2017, 美东)
大伙儿对用FPGA做的customized DNN solutions是个什么感觉?有可能撑得起一个self
-sustained business吗?
我的看法是,目前不得不服DL的应用面和效能。除了几大巨人的cloud solution,对于
一些必须是电池供电的嵌入式环境,volume又不足以justify芯片量产(且无法升级)
,FPGA(省电,可更新模型)可能可以找到niche??
从已有模型到基于FPGA的产品,还有多少坑?
求指坑。。。
q********u
发帖数: 15519
13
小铀矿DNN等发狂的一点解读?请大牛指正?
最近一段时间的小铀矿股价发狂?令人瞩目?本胡想想一再疑问?到底是啥事?
今早做了一点探索?解读如下?
一 中国从加拿大购买十年期的一万吨铀?最近又从法国购买两万吨铀?所以铀矿看好?
二 中国的核能正在加速发展?核电厂高速发展?军用核武器可能也在迅速增加?目的
一目了然?
三 中国正在大量囤积战略铀资源?吸取铁矿石和稀土的严酷教训?乘着铀价格还比较
低廉加速进口囤
积?
四 中国已经在澳大利亚购买了几个铀矿?中国官方和民间资本正在加速进入全球铀矿
公司?尤其是小
铀矿?
五 许多海内外有钱华人参与中国的铀战略?所以海外股坛上才出现了不要命推荐抢购
小铀矿的信息?
六 中国正在积极加紧准备第三次世界大战?快速发展战略威慑核武器可能就是中国的
战略本钱?中国
每年只能生产一千吨铀?远远满足不了需求?
七 中国核能电站是满足中国经济发展需求的重要战略?
八 似乎中国也在西亚地区大量购买战略铀资源?
以上是一点本胡想想对最近小铀矿疯涨的解读?
请大师和大牛指正?
本胡想想也有点心动小铀矿啦?
尤其是紫金大师极力推荐的DNN?
k***n
发帖数: 3158
14
you can also consider URA to buy into a basket of uranium stocks
I bought DNN back in August when it was $1.35
and converted it to URZ in October at $1.8
added CXZ a few weeks ago at $0.25
although URRE has been running like crazy, I like the other three better
IMO they will all explode next year, DNN might go back to 20ish
we are probably in the 2nd/3rd inning of this bull market.
c****g
发帖数: 37081
15
来自主题: Military版 - kayaker 虎肉 你们做过dnn么?
what is dnn? zkss.
h*i
发帖数: 3446
16
来自主题: JobHunting版 - DNN就是hype
还真敢扯啊。可见追捧DNN还真是一种无知无畏的表现。
h*i
发帖数: 3446
17
来自主题: JobHunting版 - DNN就是hype
最简单的,bot问我吃了没有,我说吃了,都吃了些啥。过一天它要能回答“我昨天都
吃了些啥?”这样的简单问题,这就很不错了。目前没有什么bot能作这种简单得不能
再简单的事情。你去做一下, 就知道这有多难了。
用DNN怎么做?你要会做,我们出来搞个公司发财如何?
R**********g
发帖数: 22734
18
来自主题: JobHunting版 - DNN就是hype
训练。很多时候难的是一大堆矩阵来回乘,要快,要分布式。这些轮子做好了,大家都
在试各种结构,进步就很快。要是每个做hci的都要学cuda才能搞dnn,这事就麻烦了
h*i
发帖数: 3446
19
来自主题: JobHunting版 - DNN就是hype
不解就虚心一点,别以为会个DNN轮子就能了,就啥都能做了,就skynet了。还差得远
。要这个态度,我看离skynet不是更近了,而是更远了,因为走进了死胡同。
h*i
发帖数: 3446
20
来自主题: JobHunting版 - DNN就是hype
对啊,G家那么多数据,那么多DNN牛人,咋没有搞出个能和人正常对话的机器人来?别
跟我说没有商业应用不想搞哦。
h*i
发帖数: 3446
21
来自主题: JobHunting版 - DNN就是hype
怎么轻松搞定?
这个问题的难点是你不知道我会问啥子,我问的东西不会出现在你的训练数据中,但也
是任何成人都会回答的问题。也就是所谓的图灵测试。
还没有任何DNN大牛敢说计算机已经能通过图灵测试了,只有半瓶醋的追星族说“可以
用xyz轻松搞定“。
r*****s
发帖数: 1815
22
来自主题: JobHunting版 - DNN就是hype
不可否认dnn目前并没有什么好的应用,除了搜索
但是你说的这些表明你对这玩意一无所知。。还overfit....
h*i
发帖数: 3446
23
来自主题: JobHunting版 - DNN就是hype
没有强人所难,我说的就是现有技术。最简单的,参加http://www.loebner.net/Prizef/loebner-prize.html 能战胜现有的rule based bot就行。
你以为DNN能战胜那些文章,就赢了?你不要光看文章。写文章的人,能花死功夫就能
做到100%的,他肯定不会去做,为啥,发了这篇,以后还发不发文章了?所以必然会去
做看起来fancy的,每年进步个一点两点就行了。
所以dialog system,工业界全是rule based bot, 学术界全是各种fancy 的模型,结
果屁也不顶。为啥?原因就是上面我说的,目的不同。混碗饭吃,不用太认真了。你要
是信了,那是你傻。
R**********g
发帖数: 22734
24
来自主题: JobHunting版 - DNN就是hype
说实在的,你这个问题是一个连统计方法都没用上的问题,也就是说,根本没有数据集
,或者说没有找到mine出数据的方法。还停留在专家系统的初级阶段。难点在数据,不
在模型。
就比如图片auto captioning,解决数据问题以后嗖嗖的就往上彪。
你这个,要想解决,第一步还是抛弃专家系统的思维,首先从大数据入手,找到收集数
据的方法才能突破。抱残守缺没用的,我的领域搞了三十年专家系统,统计方法两年前
就beat了。genenative model 搞了十年,discriminative方法两年就beat了。
discriminative方法又过了十年,两年前开始有dnn,现在已经beat了。
p*******m
发帖数: 667
25
来自主题: JobHunting版 - DNN就是hype
dnn又不是什么新玩意,现在就是傻算,
搞什么人工智能啊,你搞一个机器狗就足够天顶星了。
h*i
发帖数: 3446
26
来自主题: JobHunting版 - DNN就是hype
在某些被混饭的教授们洗了脑的追星族的眼中,一个问题,搞不搞得定不重要,重要的
是,是不是在用the latest fashion来搞。在这些人眼中,statistics是比rule更高级
的,当然现在statistics也out了, DNN是最高级的。哈哈。
这世界连信教的都这么多,出个把追星族算个啥。
啥叫解决数据问题?不就是刷题么?没有题刷咋办?你说给你老板说,题不一样就不会
编程了,这能行么?
R**********g
发帖数: 22734
27
来自主题: JobHunting版 - DNN就是hype
其实还没虐到我,但是就差一点了。按这个速度一年左右整个组都要进垃圾堆了。所以
现在全体跳船搞dnn。寇可往我亦可往。等到被扫就完蛋了。
h*i
发帖数: 3446
28
来自主题: JobHunting版 - DNN就是hype
说是hype是因为它就是hype。这玩意原理上没有任何突破,咋就能说是突破了呢?一下
子就无所不能了呢?
所谓大牛被虐,只能说明这些所谓大牛工作的领域太简单了,现在底裤被拔下来了而已
。说明不了啥。
我说的几条DNN的适用条件,有一条不对么?有一条可以反驳么?
这就说明问题了嘛。还争什么争,又不是信教。

说D NN是hype是因为没有被D NN虐过,大本貌似被虐过才深有感触。狗家现在很多产品
x***4
发帖数: 1815
29
来自主题: JobHunting版 - DNN就是hype
我也想搞DNN,你招人吗?
h*i
发帖数: 3446
30
来自主题: JobHunting版 - DNN就是hype
视觉,听觉, 这些知觉任务,不懂计算机的人都觉得很简单,因为比较而言,它就是人
能干的最简单的任务。
那下棋是不是高大上的任务?其实不是,学过认知心理学的都知道,下棋,要下得好,
其实也主要是知觉任务,就是靠记忆和识别模式,用所谓chunking的策略,一盘棋,常
人看有很多信息,记不住,训练过的棋手一看,就一点点信息,很容易全部复盘。这不
是因为棋手记忆力超群,而是对她来说,一盘棋就是几个简单模式,很容易记。所以训
练过的棋手能同时与十来个常人下,一路走过去,一盘棋喵一眼立马下子,为啥?因为
高手与常人下棋不用任何复杂推理,就是简单的模式识别。
视觉,听觉, 下棋,等等,这些简单的知觉任务,在有海量的训练数据的条件下,计算
机现在靠傻算和蛮力能解决一些了,但由此就说要skynet了,这不是瞎扯是什么?随便
翻开一本心理学101教课书,讲知觉的可能用两三章,但人的功能,在知觉以上还有那
么多,大半本书,哪一个功能AI能搞定了?
现在DNN主要是个工程领域,而不是啥高达上的理论研究。某些追星族人云亦云,没有
自己的头脑,argue from authority, lack perspec... 阅读全帖
h*i
发帖数: 3446
31
来自主题: JobHunting版 - DNN就是hype
你没读上面的?这些DNN扇子是这么谦虚的么?
“没问题, 哥给你轻而易举搞定”, 就这态度,这不是hype是啥。
z****g
发帖数: 4616
32
来自主题: Stock版 - 我的DNN今天表现很好嘛
DNN今天创52周新高,QIHUHU问号大师在吗?我可以得意一把了吧?
w*****r
发帖数: 197
33
来自主题: Programming版 - FPGA-based DNNs
大伙儿对用FPGA做的customized DNN solutions是个什么感觉?有可能撑得起一个self
-sustained business吗?
我的看法是,目前不得不服DL的应用面和效能。除了几大巨人的cloud solution,对于
一些必须是电池供电的嵌入式环境,volume又不足以justify芯片量产(且无法升级)
,FPGA(省电,可更新模型)可能可以找到niche??
从已有模型到基于FPGA的产品,还有多少坑?
求指坑。。。
w*****r
发帖数: 197
34
来自主题: Programming版 - DNN OpenSource
我目前试了好几个github不同的open source DNN,包括tensorflow/莫的老师/
research下面的code。。。现象如下:
1,拿他pre-train的model,跑我的dataset X,accuracy为a
2,基于pretrain的model,我在X上fine-tune,然后再在X上测,accuracy为b,b< 3,我自己用公版training script在X上train from scratch,accuracy为c,c< 第3步,可以说是我技不如人,但是train.py应该是没大问题
bother我的是第2步,别人的model在没见过我的dataset时的performance,比我让该
model在我的dataset加train几个epoch的结果还要好。。。
怎么解释?决定跟这个问题死磕了。。。
f**********g
发帖数: 2252
35
来自主题: _pennystock版 - dnn cxz
Watch dnn to break 3.3.
cxz is good today.
f**********g
发帖数: 2252
36
来自主题: _pennystock版 - DNN
Canada Hot Stocks To Watch: Teck, Imperial Oil, Second Cup, Boralex, Denison
19 minutes ago - DJNF
TORONTO (Dow Jones)--Listed below are the stocks expected to move during
Monday's trading session. They are listed with Friday's closing prices.
Teck Resources Ltd. (TCK, C$57.86, -C$1.27, -2.2%) said unionized workers at
its Elkview coal mine in British Columbia have started a strike.
Imperial Oil Ltd. (IMO, C$42.70, C$0.40, 1.0%) said fourth-quarter earnings
jumped to 94 Canadian cents a share fr... 阅读全帖
f**********g
发帖数: 2252
37
来自主题: _pennystock版 - DNN
Denison Outlines 2011 Operating Plans and Releases Final 2010 Production and
Sales Volumes
1 hours 36 minutes ago - INW
MarketwireDenison Mines Corp. (TSX: DML) (NYSE Amex: DNN) ("Denison" or the
"Company") announces that its 2011 operating plan forecasts production of 1.
2 million pounds U3O8 and 2.2 million pounds V2O5 from its operations in the
United States. "The 2011 plan and budget is focused on the growth of the
Company with the largest exploration program ever undertaken on our Wheeler
R... 阅读全帖
f**********g
发帖数: 2252
38
来自主题: _pennystock版 - DNN
Sold DNN this morning, do not want hold.
CCJ does not look good.
f**********g
发帖数: 2252
39
来自主题: _pennystock版 - DNN
Canada Hot Stocks To Watch: Teck, Imperial Oil, Second Cup, Boralex, Denison
19 minutes ago - DJNF
TORONTO (Dow Jones)--Listed below are the stocks expected to move during
Monday's trading session. They are listed with Friday's closing prices.
Teck Resources Ltd. (TCK, C$57.86, -C$1.27, -2.2%) said unionized workers at
its Elkview coal mine in British Columbia have started a strike.
Imperial Oil Ltd. (IMO, C$42.70, C$0.40, 1.0%) said fourth-quarter earnings
jumped to 94 Canadian cents a share fr... 阅读全帖
f**********g
发帖数: 2252
40
来自主题: _pennystock版 - DNN
Denison Outlines 2011 Operating Plans and Releases Final 2010 Production and
Sales Volumes
1 hours 36 minutes ago - INW
MarketwireDenison Mines Corp. (TSX: DML) (NYSE Amex: DNN) ("Denison" or the
"Company") announces that its 2011 operating plan forecasts production of 1.
2 million pounds U3O8 and 2.2 million pounds V2O5 from its operations in the
United States. "The 2011 plan and budget is focused on the growth of the
Company with the largest exploration program ever undertaken on our Wheeler
R... 阅读全帖
f**********g
发帖数: 2252
41
来自主题: _pennystock版 - DNN
Sold DNN this morning, do not want hold.
CCJ does not look good.
f**********g
发帖数: 2252
42
来自主题: _pennystock版 - URRE,DNN
http://finviz.com/screener.ashx?v=341&t=URRE,DNN
Uranium Resources and Cameco Benefit From Rebounding Uranium Market
http://finance.yahoo.com/news/Uranium-Resources-and-Cameco-iw-3
c*******d
发帖数: 353
43
来自主题: _pennystock版 - URRE,DNN
爱,DNN和AIS都出在了解放的前夜。。。颜面痛苦中。。。
y*****l
发帖数: 5997
44
来自主题: _pennystock版 - [合集] 铀价格走势图
☆─────────────────────────────────────☆
tanmaomao (坛猫猫) 于 (Tue Nov 16 18:13:00 2010, 美东) 提到:
RT
☆─────────────────────────────────────☆
tanmaomao (坛猫猫) 于 (Tue Nov 16 18:24:25 2010, 美东) 提到:
发信人: tanmaomao (坛猫猫), 信区: Stock
标 题: Re: 铀价格走势图 (转载)
发信站: BBS 未名空间站 (Tue Nov 16 18:23:29 2010, 美东)
Ux U3O8 Price indicator is the longest-running weekly uranium price series,
used by the industry in sales contracts
☆─────────────────────────────────────☆
tanmaomao (坛猫猫) 于 (Wed Nov 17 09:34:37 20... 阅读全帖
l********7
发帖数: 2974
45
我理解你对DNN的热情,呵呵。嗯,时间序列的预测都是这类temporal embedding的做
法,具体怎么构建高维矢量,五花八门。
虽然我没做过股票的数据,不知道具体做股价序列预测有多靠谱;但是,我的要点不是
反对DNN可以用来做black-box建模,而是想说,对于高维随机矢量的时间序列建模,
(严格来说)没任何客观证据,表明DNN就是远远超越其他建模技术的银枪银弹。DNN唯
一抓住了大家眼球的,是似乎模拟了人脑神经网络的一种“神奇”技术,而事实远不是
这样。本质上,一个训练好的DNN,就是一个(deterministic)的函数映射,所以更客
观的名称是“人工神经网络”(ANN,Artificial NN),或者更客观点,function
approximator;而如何训练出这样一个最优化的函数映射,来一般性地表达时间序列动
力演化的“所有”模式,就是这类序列学习问题的关键难点(generalization)。凭良
心说,把人脑神经网络简化到这样,能在多大意义上真正“模拟”了人脑的智能呢?也
许可以说,在某些问题上,ANN模仿了人脑的某一个非常狭窄的方面的智能。
如果你用AN... 阅读全帖
R**********g
发帖数: 22734
46
来自主题: JobHunting版 - deep learning到底是个什么
做过一点,属于二五眼。随便说说:
1. ANN这个玩意,一段时间就会火一次,因为硬件进步,以前不能算的,现在能算了。
DNN就是如此,接GPU的东风。
2. ANN这个玩意,拿来做classifier怎么样?不怎么样。为啥?因为overfit,层数多
了,可以拟合任何函数,没有regularization,没有推广性。
3. 为啥DNN火了?因为大家不用DNN做classifier了,开始拿他做feature extractor,
结果一用就灵,DNN可以把很难classify的空间投影到容易classify的空间,然后LR,
SVM随便上吧,用啥啥灵,解救了多少白发Ph.D。
4. DNN以后会怎么样?会成为标准的feature engineering方法,classifier呢,该干
嘛还是干嘛。
另外,说Speech recognition DNN取代HMM,的确是没有理解ASR。在声学模型里,比较
成功的DNN取代的是GMM,而HMM的结构没有变。在语言模型上,成功的是Minkov的RNN,
虽然可以支持无限长的历史,但是也无法完全取代ngram,一般放到一起用。
h*i
发帖数: 3446
47
来自主题: Military版 - 计算机离自己写code还有多远?
Nah, not gonna happen.
【 以下文字转载自 JobHunting 讨论区 】
发信人: hci (海螺子), 信区: JobHunting
标 题: DNN就是hype
发信站: BBS 未名空间站 (Fri Feb 19 15:11:57 2016, 美东)
”同一算法解决很多不同的问题“, 换个说法,其实就是overfit。尼玛上亿的参数,
当然啥都能fit, 但是,换个数据就都不能用了,要重新训练。学的也都是些奇怪的特
征,没有什么能重用的东西,和人知道的概念更是不沾边。
总的说来,现在DNN解决的都是些人本身就觉得简单的问题,比如知觉,模式识别啥的
,而且必须要有海量的现成的ground truth.人觉得难的问题,大多是没有现成ground
truth的。不说别的,最简单的常识推理,DNN就搞不定。
视觉,听觉, 这些知觉任务,不懂计算机的人都觉得很简单,因为比较而言,它就是人
能干的最简单的任务。
那下棋是不是高大上的任务?其实不是,学过认知心理学的都知道,下棋,要下得好,
其实也主要是知觉任务,就是靠记忆和识别模式,用所谓chunking的策略,一... 阅读全帖
z****g
发帖数: 4616
48
你看看,QIHUHU问号大师最擅长的就是明褒实贬,采用的都是糖衣炮弹。大千确实有个
BLUEFLIGHT最近两天在大力推荐DNN,但是他推荐DNN是在我那天向你推荐DNN的几天之
后,而且我根本不相信他推荐DNN和我有任何关系,我向你推荐DNN和他也没有任何关系
。我是自己SCREEN出来的,之前从来没听到别的任何人提到这个股票。而BLUELIGHT是
根据市场热点(铀)找的相关股票。我们是完全独立发现并推荐的同一个股票。
s*****l
发帖数: 7106
49
来自主题: Military版 - Just had an epiphany about AI
几点观察:
人脑认知的限制主要在于信息存储的不可靠(忘事),和
人脑信息交流的低带宽(读书,上课,etc),学习时间相对于寿命过于漫长。
DNN是人脑的软硬件模型。当然,当前是非常非常初级的。但是,
没有可见的不可逾越的障碍,让DNN不断逼近甚至超过人脑。
人脑认知的限制在DNN上不存在:电脑永不忘记;电脑A的知识可以快速无失真的给电脑
B。
自然结论:
当前道路走下去,DNN必然超过人脑。
A*****s
发帖数: 76
50
在上世纪60-70年代,加拿大神经生理学专家DavidHubel(1926-2013) 与瑞典生理学
家TorstenWiesel (1924-)紧密合作,以实验为基础,搞清楚了大脑视觉系统对外界
刺激信号的反应机制,证明了大脑神经皮层的多层次结构,奠定了现代人工智能的仿生
学基础,为此,荣获1981年度诺贝尔医学奖。
2006年,加拿大人工智能专家GeoffreyHinton在《科学》期刊上发表署名文章,指
出:深度神经网络(DNN)在系统训练上的难度,可以通过“逐层初始化”(Layer-
wisePre-training)来有效克服,从此。开启了深度神经网络(DNN,又叫“深度学习
”)的研究与应用的世界浪潮。
实际上,深度学习(DeepLearning)就是现代人工智能的核心技术。谷歌、微软与
百度是现代人工智能领域的“三巨头”。它们拥有海量数据以及DNN技术,比如:2012
年11月,微软(中国)在天津的一次会议上公开演示了一个全自动的“同声传译”系统
,讲演者用英文演讲,后台的计算机一气呵成,完成语音识别、英中机器翻译,以及中
文语音合成,效果非常流畅。微软使... 阅读全帖
1 2 3 4 5 6 7 8 9 下页 末页 (共9页)