由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - 聊两句wdong的内功总纲
相关主题
总结一下kaggle比赛[合集] 问个C++题目
关于搞ML刷数据的职业前途[合集] scipy还是matlab
wdong, 要不要换Julia?map shared memory to local process
已经全上内存了,还要40多秒啊[合集] 用c/c++的瞧不起用java的?
前途是光明的,道路是曲折的化学转行计算机的身份问题
讨论程序语言没什么意思,functional programming还是不错的NLP是使用什么技术或框架实现的?
探讨下FaceID怎么做得?为什么很多数据挖掘的开发包都是用Python或R写的?
打算写一个类似CNN的C++库,搞点deep learning新算法问一下,scala之父的那本教程怎么样?值得看么?
g****t
2017-01-09 11:18:30
1
wdong又拿了干货出来,首先表示感谢.
http://www.wdong.org/ji-qi-xue-xi-nei-gong-zong-gang.html
我聊几句个人计算经验。请批评指导。
1.降维
数学模型的降维有个通用方法是找对称性。
一个微分方程有5个未知数,假如你找到一个对称性,
使得f(x1,x2,x3,x4,x5)=0
那么就变成4维了。
例如手写体识别数字。
最简单的,如果图形在某个拉伸之后是单位圆,
那就是0。不然则不是。这就把0,1,2,3,。。。9
的维度降低了1维。
其他几个数字也有自己的拓扑对称性可以做。
但是这个依赖于domain knowledge。我觉得domain knowledge
就是对这些对称性,或者首次积分,或者先验知识的insight
例如物理系统第一个首次积分就是能量守恒。
2.梯度
梯度对结果有正贡献与否,我觉得就是凑上的。
统计梯度是Robinns发明的,他的文章只证明了单变量情形。
多变量情形,什么情况都有。
只能说是art of engineering。
人类对随机矩阵和随机几何了解的还非常少。
哪怕是最简单的3变量线性系统,根据
m******r
2017-01-09 13:06:18
2
太牛逼了,觉得把机器学习小江湖的黑话都给翻译成人话了。
wdong不当个特级教师可惜了。
机器学习这个小圈子 近年来我一直都很有意见。 明明是一群人在学习,非要打着机器
学习的幌子 卖弄着江湖黑话。
闹得谁也听不懂。
g****t
2017-01-09 13:21:11
3
wdong不如找个地方写本书。定价500刀。哥先买10本。

【在 m******r 的大作中提到】
: 太牛逼了,觉得把机器学习小江湖的黑话都给翻译成人话了。
: wdong不当个特级教师可惜了。
: 机器学习这个小圈子 近年来我一直都很有意见。 明明是一群人在学习,非要打着机器
: 学习的幌子 卖弄着江湖黑话。
: 闹得谁也听不懂。

e*******o
2017-01-09 13:23:57
4
我竟然也看懂了一些。
下山法(SGD) 这个翻译够土,够厉害。
我也觉得wdong 去大学教教书是最合适的。

【在 m******r 的大作中提到】
: 太牛逼了,觉得把机器学习小江湖的黑话都给翻译成人话了。
: wdong不当个特级教师可惜了。
: 机器学习这个小圈子 近年来我一直都很有意见。 明明是一群人在学习,非要打着机器
: 学习的幌子 卖弄着江湖黑话。
: 闹得谁也听不懂。

w***g
2017-01-09 13:42:07
5
这个帖子我本来是在本版原创的,然后转到我自己的
blog上。原帖在本版被删了。
下山法这个翻译似乎有问题。
牛顿下山法和梯度法似乎不是同一种东西。
这个我胡吹的。

【在 e*******o 的大作中提到】
: 我竟然也看懂了一些。
: 下山法(SGD) 这个翻译够土,够厉害。
: 我也觉得wdong 去大学教教书是最合适的。

w***g
2017-01-09 13:54:14
6
你这个是物理学家的做法,找到一个不变量/对称性,
就能提取一个维度。现在之所以大家喜欢deep learning,
因为希望能通过无脑拟合解决问题,而不需要用人脑去
分析研究问题的本质。目前的做法显然有很大的局限性。
你随便写个数学公式产生个图形,分形那种,
神经网络就是算死了也拟合不出来。
现在吹得好像神经网络无所不能,其实远没有那么厉害。

【在 g****t 的大作中提到】
: wdong又拿了干货出来,首先表示感谢.
: http://www.wdong.org/ji-qi-xue-xi-nei-gong-zong-gang.html
: 我聊几句个人计算经验。请批评指导。
: 1.降维
: 数学模型的降维有个通用方法是找对称性。
: 一个微分方程有5个未知数,假如你找到一个对称性,
: 使得f(x1,x2,x3,x4,x5)=0
: 那么就变成4维了。
: 例如手写体识别数字。
: 最简单的,如果图形在某个拉伸之后是单位圆,

s***o
2017-01-09 13:54:23
7
wdong的星宿派到底是干什么的?
m******r
2017-01-09 13:58:08
8
通俗地讲,就是姥姥不疼舅舅不爱那种的。
咦 我个外行都看明白了 你怎么看不懂?

【在 s***o 的大作中提到】
: wdong的星宿派到底是干什么的?
l*******m
2017-01-09 14:00:20
9
写书也要做市场。今天我去出版社网站上看了一眼我的书,才卖了100多本worldwide.
肯定不用报税了

【在 g****t 的大作中提到】
: wdong不如找个地方写本书。定价500刀。哥先买10本。
g****t
2017-01-09 14:13:48
10
(1)
在计算机领域,我认为universal turing machine
就是能量守恒一样的基本对称性。
universal turing machine进去一个turing machine
,出来是一样的,所以就是守恒量或者基本对称性。
这是所有图灵完备的程序的集合的性质。
一定有固定点
(2)
任何计算机语言,只要出不了fixed point combinator/universal turing machine
这个圈。不可能和现实中其他具有本质不同的对称性的东西对上号。
因为两个系统有不同的固定点,本质上是没办法全方位拟合的。
只能看看是不是有时候能互相接近。这算是演绎性质而非经验性质的对
无脑拟合的否定。
必须要加domain knowledge赋予的对称性.
要么就是足够的数据蕴含了对数据集的定义. 那需要数据集的信噪比很高。
(3)
我还有另一个结论。如果一个计算系统例如神经网。
对一种数据集效果好,应该可以造出来另一套数据集,效果不好。
但这个先要构造神经网自己的domain specific固定点。
learn the xxx learning itself。我怀

【在 w***g 的大作中提到】
: 你这个是物理学家的做法,找到一个不变量/对称性,
: 就能提取一个维度。现在之所以大家喜欢deep learning,
: 因为希望能通过无脑拟合解决问题,而不需要用人脑去
: 分析研究问题的本质。目前的做法显然有很大的局限性。
: 你随便写个数学公式产生个图形,分形那种,
: 神经网络就是算死了也拟合不出来。
: 现在吹得好像神经网络无所不能,其实远没有那么厉害。

g****t
2017-01-09 14:15:36
11
你这不错了。我以前在学校跟老板合写的书,都是开会时候白送的.
白送都没人要...
话说你写的哪方面的书?
现在机器学习大热。写书应该不愁卖。

.

【在 l*******m 的大作中提到】
: 写书也要做市场。今天我去出版社网站上看了一眼我的书,才卖了100多本worldwide.
: 肯定不用报税了

a*****g
2017-01-09 15:10:23
12
good

【在 g****t 的大作中提到】
: wdong又拿了干货出来,首先表示感谢.
: http://www.wdong.org/ji-qi-xue-xi-nei-gong-zong-gang.html
: 我聊几句个人计算经验。请批评指导。
: 1.降维
: 数学模型的降维有个通用方法是找对称性。
: 一个微分方程有5个未知数,假如你找到一个对称性,
: 使得f(x1,x2,x3,x4,x5)=0
: 那么就变成4维了。
: 例如手写体识别数字。
: 最简单的,如果图形在某个拉伸之后是单位圆,

c*********e
2017-01-09 19:38:10
13
好。就等wdong在github上的开源代码了。

【在 g****t 的大作中提到】
: wdong又拿了干货出来,首先表示感谢.
: http://www.wdong.org/ji-qi-xue-xi-nei-gong-zong-gang.html
: 我聊几句个人计算经验。请批评指导。
: 1.降维
: 数学模型的降维有个通用方法是找对称性。
: 一个微分方程有5个未知数,假如你找到一个对称性,
: 使得f(x1,x2,x3,x4,x5)=0
: 那么就变成4维了。
: 例如手写体识别数字。
: 最简单的,如果图形在某个拉伸之后是单位圆,

l*********s
2017-01-09 20:07:34
14
1不就是自由度吗?为啥叫对称性呢?

【在 g****t 的大作中提到】
: wdong又拿了干货出来,首先表示感谢.
: http://www.wdong.org/ji-qi-xue-xi-nei-gong-zong-gang.html
: 我聊几句个人计算经验。请批评指导。
: 1.降维
: 数学模型的降维有个通用方法是找对称性。
: 一个微分方程有5个未知数,假如你找到一个对称性,
: 使得f(x1,x2,x3,x4,x5)=0
: 那么就变成4维了。
: 例如手写体识别数字。
: 最简单的,如果图形在某个拉伸之后是单位圆,

s***o
2017-01-09 21:02:56
15
这样啊,我还以为要把C++当化功大法来练呢
刚看到HERE Chicago还在招人(http://www.mitbbs.com/article_t/JobHunting/33207879.html),wdong不想去试试?

【在 m******r 的大作中提到】
: 通俗地讲,就是姥姥不疼舅舅不爱那种的。
: 咦 我个外行都看明白了 你怎么看不懂?