z****e
发帖数: 54598 | 1 是否便于使用
就是轮子应该能够让鸡刀来杀牛，而不是用牛刀来杀鸡
一个轮子如果用的人不怎么需要思考就能上手
那这个轮子多半会有前途，当然前提是别带来额外的问题
很多东西都是trade off，但是不可否认的是productivity总量在增加
目前看最有前途的是这三个轮子
一个是deep learning
还有一个是r，也就是统计
最后一个是sql，sql在分布式时代被革了一把命，现在一点一点重建
sparksql正在做，sparkr连起步都很艰难，统计东西太多了
renjin反而走得更远些，deep learning呼声很高啊
不知道什么时候加进去，这些都是值得contribute的轮子
前途看好，呼吁炮灰投入，人类的发展需要群众的智慧 |
l*******b
发帖数: 2586 | 2 deep learning都是搞啥的
【在 z****e 的大作中提到】
: 是否便于使用
: 就是轮子应该能够让鸡刀来杀牛，而不是用牛刀来杀鸡
: 一个轮子如果用的人不怎么需要思考就能上手
: 那这个轮子多半会有前途，当然前提是别带来额外的问题
: 很多东西都是trade off，但是不可否认的是productivity总量在增加
: 目前看最有前途的是这三个轮子
: 一个是deep learning
: 还有一个是r，也就是统计
: 最后一个是sql，sql在分布式时代被革了一把命，现在一点一点重建
: sparksql正在做，sparkr连起步都很艰难，统计东西太多了
|
c********l
发帖数: 8138 | 3 好轮子既不是让鸡刀杀牛，也不是牛刀杀鸡
而是鸡刀杀鸡，牛刀杀牛
并且准确地在之前告诉你：“这是鸡刀，那是牛刀，鸡刀在这儿，牛刀在那儿”
而不是说“我本来是鸡刀，但也可以杀牛用”
【在 z****e 的大作中提到】
: 是否便于使用
: 就是轮子应该能够让鸡刀来杀牛，而不是用牛刀来杀鸡
: 一个轮子如果用的人不怎么需要思考就能上手
: 那这个轮子多半会有前途，当然前提是别带来额外的问题
: 很多东西都是trade off，但是不可否认的是productivity总量在增加
: 目前看最有前途的是这三个轮子
: 一个是deep learning
: 还有一个是r，也就是统计
: 最后一个是sql，sql在分布式时代被革了一把命，现在一点一点重建
: sparksql正在做，sparkr连起步都很艰难，统计东西太多了
|
c*******9
发帖数: 9032 | 4 好轮子应当杀大牛若宰小鸡。
【在 c********l 的大作中提到】
: 好轮子既不是让鸡刀杀牛，也不是牛刀杀鸡
: 而是鸡刀杀鸡，牛刀杀牛
: 并且准确地在之前告诉你：“这是鸡刀，那是牛刀，鸡刀在这儿，牛刀在那儿”
: 而不是说“我本来是鸡刀，但也可以杀牛用”
|
n*****3
发帖数: 1584 | 5 how to maken$$
【在 z****e 的大作中提到】
: 是否便于使用
: 就是轮子应该能够让鸡刀来杀牛，而不是用牛刀来杀鸡
: 一个轮子如果用的人不怎么需要思考就能上手
: 那这个轮子多半会有前途，当然前提是别带来额外的问题
: 很多东西都是trade off，但是不可否认的是productivity总量在增加
: 目前看最有前途的是这三个轮子
: 一个是deep learning
: 还有一个是r，也就是统计
: 最后一个是sql，sql在分布式时代被革了一把命，现在一点一点重建
: sparksql正在做，sparkr连起步都很艰难，统计东西太多了
|
k**********g
发帖数: 989 | 6
坐等 sparkling cider or eggnog
【在 z****e 的大作中提到】
: 是否便于使用
: 就是轮子应该能够让鸡刀来杀牛，而不是用牛刀来杀鸡
: 一个轮子如果用的人不怎么需要思考就能上手
: 那这个轮子多半会有前途，当然前提是别带来额外的问题
: 很多东西都是trade off，但是不可否认的是productivity总量在增加
: 目前看最有前途的是这三个轮子
: 一个是deep learning
: 还有一个是r，也就是统计
: 最后一个是sql，sql在分布式时代被革了一把命，现在一点一点重建
: sparksql正在做，sparkr连起步都很艰难，统计东西太多了
|
z****e
发帖数: 54598 | 7 开源是共产主义，按需分配，不需要$$
【在 n*****3 的大作中提到】
: how to maken$$
|
z****e
发帖数: 54598 | 8 搞ai的，探究生命发源的意义，如何从有机生命转向无机生命
灰常高大上
【在 l*******b 的大作中提到】
: deep learning都是搞啥的
|
l*******b
发帖数: 2586 | 9 ai绝对得并行, 几千个core都不够, 但是每个core都很简单。和现在的硬件体系不太搭
呀。
【在 z****e 的大作中提到】
: 搞ai的，探究生命发源的意义，如何从有机生命转向无机生命
: 灰常高大上
|
z****e
发帖数: 54598 | 10 硬件是啥？hpc吗？
那个玩意不顶用的
网络 is future
大脑的神经系统本身就是一个网络
数量上应该是越多越好
但是就是因为网络上每个node会fail
所以以后skynet开始屠杀人类的时候
人类还是有翻盘的机会，因为skynet也会犯错
【在 l*******b 的大作中提到】
: ai绝对得并行, 几千个core都不够, 但是每个core都很简单。和现在的硬件体系不太搭
: 呀。
|
|
|
l*******b
发帖数: 2586 | 11 网络太慢了, 每个node太复杂了, node要非常简单, 不分计算和储存, 之间的交流也
大概只有基本的几个模式, 但是速度非常快。大部分node不会有那么多连接, 一个node
不需要aware整个网络。
【在 z****e 的大作中提到】
: 硬件是啥？hpc吗？
: 那个玩意不顶用的
: 网络 is future
: 大脑的神经系统本身就是一个网络
: 数量上应该是越多越好
: 但是就是因为网络上每个node会fail
: 所以以后skynet开始屠杀人类的时候
: 人类还是有翻盘的机会，因为skynet也会犯错
|
z****e
发帖数: 54598 | 12 废话，网络对比内存或者l1l2cache当然慢
问题是思考又不是田径
光快有啥用？scale up很容易到顶
而且很贵，说到底还是钱的问题
给钱，什么都好办
hpc能解决世界上几乎所有pc能够解决问题
难道每个人家里都放台hpc？打cs？
hpc要弄个fire in the hole倒是非常快
node
【在 l*******b 的大作中提到】
: 网络太慢了, 每个node太复杂了, node要非常简单, 不分计算和储存, 之间的交流也
: 大概只有基本的几个模式, 但是速度非常快。大部分node不会有那么多连接, 一个node
: 不需要aware整个网络。
|
l*******b
发帖数: 2586 | 13 是田径呀, 大脑处理眼睛看到的信号, 从图像的neural push到信息的neural要快呀,
然后feedback接下来往哪里看。信息本身就是用网格表达的, 必须要快
【在 z****e 的大作中提到】
: 废话，网络对比内存或者l1l2cache当然慢
: 问题是思考又不是田径
: 光快有啥用？scale up很容易到顶
: 而且很贵，说到底还是钱的问题
: 给钱，什么都好办
: hpc能解决世界上几乎所有pc能够解决问题
: 难道每个人家里都放台hpc？打cs？
: hpc要弄个fire in the hole倒是非常快
:
: node
|
z****e
发帖数: 54598 | 14 慢一点的话到不了了？
快慢只是一个效率上的优化
但是实际上，有和无的差异才是最难的
就像tom的7000万和现在的246的差异一样
当然246更接近最后真实值，但是所有人都明白
最大的贡献是那7000万，虽然7000万还是很大
但是比起无穷来说，那有意义太多了
现在ai缺少的就是那7000万
处于两眼一抹黑的阶段
你这种思维方式适合搞手机，不适合搞ai
你说的这些例子都是ee上的例子，都不是数学上思考的问题
这些差异就像泥哥跟我们黄种人的差异一样
比田径，我们比不过泥哥，但是比搞科研，泥哥能学会手算加减乘除不？
,
【在 l*******b 的大作中提到】
: 是田径呀, 大脑处理眼睛看到的信号, 从图像的neural push到信息的neural要快呀,
: 然后feedback接下来往哪里看。信息本身就是用网格表达的, 必须要快
|
l*********s
发帖数: 5409 | 15 软工的目的是实施，而不是解决有无，那是数学家的事。
【在 z****e 的大作中提到】
: 慢一点的话到不了了？
: 快慢只是一个效率上的优化
: 但是实际上，有和无的差异才是最难的
: 就像tom的7000万和现在的246的差异一样
: 当然246更接近最后真实值，但是所有人都明白
: 最大的贡献是那7000万，虽然7000万还是很大
: 但是比起无穷来说，那有意义太多了
: 现在ai缺少的就是那7000万
: 处于两眼一抹黑的阶段
: 你这种思维方式适合搞手机，不适合搞ai
|
w***g
发帖数: 5958 | 16 这是正解。7000万都没搞明白，就去搞几个billion的graduate descent，我觉得都是
premature optimization。
有一种观点是现在硬件的处理能力离人脑还很远。我的观点恰恰相反。我觉得现在单机
的处理能力已经远远超过
了人脑，差的是一个好的数据结构。所以我觉得现在有一个千载难逢的机遇。如果做得
好的话，一个人是可以
单挑Google的。很不幸我自己既没有这个脑力，也没这个时间--我每天都需要在写世俗
代码养家糊口和到这儿灌
水发贴之间平衡时间花销。不过坐等这么一个人的出现也是一件非常激动人心的事情。
【在 z****e 的大作中提到】
: 慢一点的话到不了了？
: 快慢只是一个效率上的优化
: 但是实际上，有和无的差异才是最难的
: 就像tom的7000万和现在的246的差异一样
: 当然246更接近最后真实值，但是所有人都明白
: 最大的贡献是那7000万，虽然7000万还是很大
: 但是比起无穷来说，那有意义太多了
: 现在ai缺少的就是那7000万
: 处于两眼一抹黑的阶段
: 你这种思维方式适合搞手机，不适合搞ai
|
l*******b
发帖数: 2586 | 17 为啥认为我这个没道理呢。
表达信息graph比string 更本质, 但是string更容易传达。用string思考就不靠谱。
诺伊曼的概念用了快一个世纪, 还被绑在这上面, 搞ai的太悲催了。呵呵
【在 z****e 的大作中提到】
: 慢一点的话到不了了？
: 快慢只是一个效率上的优化
: 但是实际上，有和无的差异才是最难的
: 就像tom的7000万和现在的246的差异一样
: 当然246更接近最后真实值，但是所有人都明白
: 最大的贡献是那7000万，虽然7000万还是很大
: 但是比起无穷来说，那有意义太多了
: 现在ai缺少的就是那7000万
: 处于两眼一抹黑的阶段
: 你这种思维方式适合搞手机，不适合搞ai
|
l*******b
发帖数: 2586 | 18 数学家就不许写代码了, 知道现代cs arch是什么人发明的不。
【在 l*********s 的大作中提到】
: 软工的目的是实施，而不是解决有无，那是数学家的事。
|
z****e
发帖数: 54598 | 19 所以现在很多title都换成了scientist了
这个界限正在变得模糊
还有就是解决有和无往往带来一个发财的契机
光实施，不会有太大难度
【在 l*********s 的大作中提到】
: 软工的目的是实施，而不是解决有无，那是数学家的事。
|
z****e
发帖数: 54598 | 20 string刚刚被研究透呀
倒排表搞定string的查询才过了多少年
graph的研究才刚刚开始呢
很多秘密可言啊，你没看到wdong和弃大妈一聊到graph的识别
很快就闭嘴了，尽聊些不痛不痒的东西
【在 l*******b 的大作中提到】
: 为啥认为我这个没道理呢。
: 表达信息graph比string 更本质, 但是string更容易传达。用string思考就不靠谱。
: 诺伊曼的概念用了快一个世纪, 还被绑在这上面, 搞ai的太悲催了。呵呵
|
|
|
l*********s
发帖数: 5409 | 21 当然可以，但是业术有专攻，非得搞十项全能那就太过自大了。
【在 l*******b 的大作中提到】
: 数学家就不许写代码了, 知道现代cs arch是什么人发明的不。
|
w***g
发帖数: 5958 | 22 graph是一种数据结构，你说的那叫image。关于图像识别，
这般上应该没人比我知道得更多了。只不过限于人类现阶段
的整体水平，我知道的也很少罢了。
【在 z****e 的大作中提到】
: string刚刚被研究透呀
: 倒排表搞定string的查询才过了多少年
: graph的研究才刚刚开始呢
: 很多秘密可言啊，你没看到wdong和弃大妈一聊到graph的识别
: 很快就闭嘴了，尽聊些不痛不痒的东西
|
z****e
发帖数: 54598 | 23 graph那种结构比起image来说简单得不要太多
image可以认为是一种复杂的无序的graph
当然人类连graph的研究都才刚开始，image就更苦逼了
就是不懂所以才要你说啊，你一天到晚在这里扯蛋什么架构
你忽悠谁呢？能不能说点正经的？
【在 w***g 的大作中提到】
: graph是一种数据结构，你说的那叫image。关于图像识别，
: 这般上应该没人比我知道得更多了。只不过限于人类现阶段
: 的整体水平，我知道的也很少罢了。
|
z****e
发帖数: 54598 | 24 人要发展，你不喜欢并不代表别人不喜欢
不过我觉得你好像懂，只不过不想说而已
这个版上忽悠的太多了，说到关键处，就不说了
一个个都贼精
【在 l*********s 的大作中提到】
: 当然可以，但是业术有专攻，非得搞十项全能那就太过自大了。
|
w***g
发帖数: 5958 | 25 太小众了，吵不起来，没啥意思。大家有啥具体问题可以问我。
搞image用的是matlab和C++，现在deep learning的话matlab也不要了，就是C++，和版
上的潮流不符。
【在 z****e 的大作中提到】
: graph那种结构比起image来说简单得不要太多
: image可以认为是一种复杂的无序的graph
: 当然人类连graph的研究都才刚开始，image就更苦逼了
: 就是不懂所以才要你说啊，你一天到晚在这里扯蛋什么架构
: 你忽悠谁呢？能不能说点正经的？
|
z****e
发帖数: 54598 | 26 lol
版上潮流是什么？脚本吗？
你用scala之后就符了
image的相似度怎么计算？我躺在床上想了想，觉得复杂度太高作罢
我看google连音频的相似度都搞了，youtube用得比较多
不过后者应该比图像简单，维度比较少，反正都比string要复杂
要不然先说说音频怎么搞吧，难道说跟string一样搞法？
【在 w***g 的大作中提到】
: 太小众了，吵不起来，没啥意思。大家有啥具体问题可以问我。
: 搞image用的是matlab和C++，现在deep learning的话matlab也不要了，就是C++，和版
: 上的潮流不符。
|
c******o
发帖数: 1277 | 27 音频识别很成熟了
倒谱特征值，然后类似那种不纯，有干扰的序列pattern matching
图像难得多，没谱呢
【在 z****e 的大作中提到】
: lol
: 版上潮流是什么？脚本吗？
: 你用scala之后就符了
: image的相似度怎么计算？我躺在床上想了想，觉得复杂度太高作罢
: 我看google连音频的相似度都搞了，youtube用得比较多
: 不过后者应该比图像简单，维度比较少，反正都比string要复杂
: 要不然先说说音频怎么搞吧，难道说跟string一样搞法？
|
w***g
发帖数: 5958 | 28 image的相似度有很多不同的定义，对于不同的应用首先要选一个最符合需要的定义。
然后才是怎么算的问题。常见的相似度定义有
1. 视觉上/一眼看过去相似。主要用color histogram算。传统的CBIR一般都用这个，
但是这个单独自己用的话没啥实际用处。
2. 是否是同一个图像的不同版本。如果不需要检测诸如大图包含小图这种情况的话
就用global feature，比如GIST。如果要检测大图中的小图的话就是local feature，
最牛的算法都有专利保护，比如SIFT和SURF。别的免费可以用的我刚刚都试过一圈，
效果都比较差。
3. 照片是否是同一个rigid object，也用SIFT。
4. 照片是不是同一个人，人脸特征抽取是一大块，基本上是要先register眼耳鼻口
的位置，然后基于这些位置抽取特征。
5. 非rigid object的话得各个击破，比如人脸应为比较重要所以有很多算法可以用。
别的基本上没法做。
6. 图片是不是同一类对象。这个就是图像识别问题了。几年前最牛的是dense sampled
local feature + sparse encoding + spatial pyramid这个框框。后来神经网络
异军突起，现在想搞这个的话上手最快的应该是用一个叫decaf的软件。
7. 6有一个特例，就是检测一个图片里是否含有人脸。这个特例很重要是因为这是
Boosting的一个最重要的应用, 但是boosting也只对人脸有效。Boosting在机器学习
中别的应用很少有在实战中这么重要的。其地位跟bayesian用于做垃圾邮件检测相当。
那些实现100种算法最后boosting再提高一点点的research基本上都是扯淡。
音频和图像基本上是一一对应的。目前比较常见的是下面几种用法。
A. 对应2. 听到人家的speaker在放啥音乐，你拿手机一扫，app就帮你找出来是哪首歌。
B. 对应5，术语叫QBSH，你对手机哼唱一段歌，app帮你找出来歌名。这个比A难点。
A和B都是检测local feature和进行两个序列对比。A比较容易。B因为有扭曲，所以需要
用动态规划算最佳匹配，术语叫DTW, dynamic time warping。A和B的特征计算没啥
open source代码，但是shasam早期有一篇paper详细介绍了一个算法。Google有个
叫waveprint的算法。这两个都不错。
B可以覆盖A，但是开销更大，只能坐小范围的搜索。目前比较有名的手机应用比如
shasam
啥的基本上都是这一类。但A可以做超大规模的搜索，比如我做过一个从全国500+个电
台一年
的录音内找某个音频的系统。原始数据量在100T的数量级，特征数据也有10T的量级，
需要实时
出搜索结果。一个查询要一个机群算几秒钟才能算出来。我们用的算法应该比已经发表
的waveprint更牛。
C. 识别音乐类型，情绪节奏啥的，对应1。这个比图像好点，有很多现成的特征可以用。
这个实际上没太大用处，因为你能找得到的音乐都已经有专家手工打上标签了。广播业在
手工打标签上花的成本是非常大的。
D. 语音识别，对应6。这个已经很成熟可以商业化了。Hidden Markov Model实战中最
主要的
应用。这块最近也被neural network颠覆了。这块具体我不懂。
音频处理不管是怎么弄，第一步基本上就是用FFT算一个时间-频谱图，接下来的步骤
其实是一种比较特殊的图像处理。
我敲这么多字不容易，大家以后有啥图像音频的活要找人做希望能给我介绍介绍。
【在 z****e 的大作中提到】
: lol
: 版上潮流是什么？脚本吗？
: 你用scala之后就符了
: image的相似度怎么计算？我躺在床上想了想，觉得复杂度太高作罢
: 我看google连音频的相似度都搞了，youtube用得比较多
: 不过后者应该比图像简单，维度比较少，反正都比string要复杂
: 要不然先说说音频怎么搞吧，难道说跟string一样搞法？
|
l*********s
发帖数: 5409 | 29 牛！
【在 w***g 的大作中提到】
: image的相似度有很多不同的定义，对于不同的应用首先要选一个最符合需要的定义。
: 然后才是怎么算的问题。常见的相似度定义有
: 1. 视觉上/一眼看过去相似。主要用color histogram算。传统的CBIR一般都用这个，
: 但是这个单独自己用的话没啥实际用处。
: 2. 是否是同一个图像的不同版本。如果不需要检测诸如大图包含小图这种情况的话
: 就用global feature，比如GIST。如果要检测大图中的小图的话就是local feature，
: 最牛的算法都有专利保护，比如SIFT和SURF。别的免费可以用的我刚刚都试过一圈，
: 效果都比较差。
: 3. 照片是否是同一个rigid object，也用SIFT。
: 4. 照片是不是同一个人，人脸特征抽取是一大块，基本上是要先register眼耳鼻口
|
z****e
发帖数: 54598 | 30 不错不错，赞干货，记录下来好好消化消化
【在 w***g 的大作中提到】
: image的相似度有很多不同的定义，对于不同的应用首先要选一个最符合需要的定义。
: 然后才是怎么算的问题。常见的相似度定义有
: 1. 视觉上/一眼看过去相似。主要用color histogram算。传统的CBIR一般都用这个，
: 但是这个单独自己用的话没啥实际用处。
: 2. 是否是同一个图像的不同版本。如果不需要检测诸如大图包含小图这种情况的话
: 就用global feature，比如GIST。如果要检测大图中的小图的话就是local feature，
: 最牛的算法都有专利保护，比如SIFT和SURF。别的免费可以用的我刚刚都试过一圈，
: 效果都比较差。
: 3. 照片是否是同一个rigid object，也用SIFT。
: 4. 照片是不是同一个人，人脸特征抽取是一大块，基本上是要先register眼耳鼻口
|
|
|
z****e
发帖数: 54598 | 31 嗯，我仔细想了想，音频的outlier比较容易判断出来
特别突兀的可以直接rule out
理论上各种声音前后应该有延续性，尤其是音乐这种
不会太过于突兀，维度比较容易确定，维度一旦确定，相似度就容易了
图像比较难搞，但是人眼对图像更为敏感，80％的感觉都是视觉
所以要想搞，还是搞图像比较好
【在 c******o 的大作中提到】
: 音频识别很成熟了
: 倒谱特征值，然后类似那种不纯，有干扰的序列pattern matching
: 图像难得多，没谱呢
|
w***g
发帖数: 5958 | 32 人脑处理视频/音频的原理应该是一样的，这方面的数学缺很大一块，
哪天解决了的话一大串问题都能跟着解决，现在看似是人工智能的
问题就不再是人工智能了。这方面研究的正道是从音频/视频处理的
相似性入手，抽象出一种基本的数学模型。现在很火的neural network
表面上看似在做这个，其实是寄希望于通过超大规模超多参数的brute
force计算来实现“人工智能”。我觉得这方面的研究应该不久就会
碰到不可逾越的障碍。人类的创造性应该还能最后一次打败bruta
force。不过等我说的这种数学工具被想出来之后，应该会导致人工智能
的飞跃性发展，甚至肯能直接导致technological singularity。
到时候机器就会超越人类。
【在 z****e 的大作中提到】
: 嗯，我仔细想了想，音频的outlier比较容易判断出来
: 特别突兀的可以直接rule out
: 理论上各种声音前后应该有延续性，尤其是音乐这种
: 不会太过于突兀，维度比较容易确定，维度一旦确定，相似度就容易了
: 图像比较难搞，但是人眼对图像更为敏感，80％的感觉都是视觉
: 所以要想搞，还是搞图像比较好
|
c*******9
发帖数: 9032 | 33 哪个更本质真很难说。不要想当然。
【在 l*******b 的大作中提到】
: 为啥认为我这个没道理呢。
: 表达信息graph比string 更本质, 但是string更容易传达。用string思考就不靠谱。
: 诺伊曼的概念用了快一个世纪, 还被绑在这上面, 搞ai的太悲催了。呵呵
|
z****e
发帖数: 54598 | 34 text处理最简单
音频其次
图像处理相对难一点
视频最麻烦
当然还有比视频更麻烦的现实物体
等什么时候现实物体的相似度能够判断出来的话
ai差不多就有点曙光了
不知道你怎么想，但是我隐约感觉这个是层层简化的结果
比如你看到一只猫
然后通过各个角度观察猫
->简化成一段一段视频
->简化成一张一张图片
->简化成string，并最终记忆
声音应该介于图片和string之间
现在还只是识别，就像小孩子刚生下来，看什么都很有兴趣
因为这个物体能够识别现实，识别最重要的是相似度
不管怎样，先教会电脑能够认识世界应该是最初的一步
【在 w***g 的大作中提到】
: 人脑处理视频/音频的原理应该是一样的，这方面的数学缺很大一块，
: 哪天解决了的话一大串问题都能跟着解决，现在看似是人工智能的
: 问题就不再是人工智能了。这方面研究的正道是从音频/视频处理的
: 相似性入手，抽象出一种基本的数学模型。现在很火的neural network
: 表面上看似在做这个，其实是寄希望于通过超大规模超多参数的brute
: force计算来实现“人工智能”。我觉得这方面的研究应该不久就会
: 碰到不可逾越的障碍。人类的创造性应该还能最后一次打败bruta
: force。不过等我说的这种数学工具被想出来之后，应该会导致人工智能
: 的飞跃性发展，甚至肯能直接导致technological singularity。
: 到时候机器就会超越人类。
|
c****t
发帖数: 19049 | 35 赵老师vision倒是不错，但基础的东东不行啊。
deep learning这东西没前途。昙花一现的hype。
r近几年发展比较猛。要stick的节奏。但您看好renjin不敢苟同。目前能优化统计算法
的绝大多数是unix/c/fortran培出来的，跟jvm谈不拢
sql是必然的
另外coupondeal说得好，好轮子是鸡刀杀鸡，牛刀杀牛，不是拎个箱子，显个核按钮问
别人你服不服
【在 z****e 的大作中提到】
: 是否便于使用
: 就是轮子应该能够让鸡刀来杀牛，而不是用牛刀来杀鸡
: 一个轮子如果用的人不怎么需要思考就能上手
: 那这个轮子多半会有前途，当然前提是别带来额外的问题
: 很多东西都是trade off，但是不可否认的是productivity总量在增加
: 目前看最有前途的是这三个轮子
: 一个是deep learning
: 还有一个是r，也就是统计
: 最后一个是sql，sql在分布式时代被革了一把命，现在一点一点重建
: sparksql正在做，sparkr连起步都很艰难，统计东西太多了
|
c****t
发帖数: 19049 | 36 赞
【在 w***g 的大作中提到】
: 这是正解。7000万都没搞明白，就去搞几个billion的graduate descent，我觉得都是
: premature optimization。
: 有一种观点是现在硬件的处理能力离人脑还很远。我的观点恰恰相反。我觉得现在单机
: 的处理能力已经远远超过
: 了人脑，差的是一个好的数据结构。所以我觉得现在有一个千载难逢的机遇。如果做得
: 好的话，一个人是可以
: 单挑Google的。很不幸我自己既没有这个脑力，也没这个时间--我每天都需要在写世俗
: 代码养家糊口和到这儿灌
: 水发贴之间平衡时间花销。不过坐等这么一个人的出现也是一件非常激动人心的事情。
|
w***g
发帖数: 5958 | 37 text处理最简单是个假象。你说的简单是指按单词索引/统计的简单。到了理解这一层
，其实跟图像，音频是一样的。
现在的数学还没发展到那一步。图灵测试就可以通过text做。
彻底解决文本/图像/音频的理解，都依赖同一个未知的数学概念。这个概念一旦被发明
出来以后人们再回头看必然是一个很简单而又必须如此的概念。
【在 z****e 的大作中提到】
: text处理最简单
: 音频其次
: 图像处理相对难一点
: 视频最麻烦
: 当然还有比视频更麻烦的现实物体
: 等什么时候现实物体的相似度能够判断出来的话
: ai差不多就有点曙光了
: 不知道你怎么想，但是我隐约感觉这个是层层简化的结果
: 比如你看到一只猫
: 然后通过各个角度观察猫
|
c****t
发帖数: 19049 | 38 人脑处理视频/音频不一样
【在 w***g 的大作中提到】
: 人脑处理视频/音频的原理应该是一样的，这方面的数学缺很大一块，
: 哪天解决了的话一大串问题都能跟着解决，现在看似是人工智能的
: 问题就不再是人工智能了。这方面研究的正道是从音频/视频处理的
: 相似性入手，抽象出一种基本的数学模型。现在很火的neural network
: 表面上看似在做这个，其实是寄希望于通过超大规模超多参数的brute
: force计算来实现“人工智能”。我觉得这方面的研究应该不久就会
: 碰到不可逾越的障碍。人类的创造性应该还能最后一次打败bruta
: force。不过等我说的这种数学工具被想出来之后，应该会导致人工智能
: 的飞跃性发展，甚至肯能直接导致technological singularity。
: 到时候机器就会超越人类。
|
z****e
发帖数: 54598 | 39 工业界只能用jvm
不用jvm，fortran去对付一个个乱七八糟的os
没戏，算法通过什么实现，那个只是一个demo
让你明白这个idea是什么，但是干活时候
你不jvm纯粹给自己找麻烦，分布式最大特征就是网络
其次特征就是平台的差异，现在scala这么火爆
你不搞就是跟自己过不去，你看wdong都从了
你还觉得jvm没戏么？死守一个平台，比如unix
这个跟所有商业公司利益都不符，一个平台是不可能的
cs发展下去，必然结果是多个平台
spark现在mllib已经基本上搞定text部分了
至于后面怎么hype，那只能说有hype才有前途
你要是不搞这些，只能搞别人几十年前玩过的
那这个是没什么hype，但是问题是你除了去做点维护
也做不了什么了，新大陆才有机会，就是要做别人没做过的
【在 c****t 的大作中提到】
: 赵老师vision倒是不错，但基础的东东不行啊。
: deep learning这东西没前途。昙花一现的hype。
: r近几年发展比较猛。要stick的节奏。但您看好renjin不敢苟同。目前能优化统计算法
: 的绝大多数是unix/c/fortran培出来的，跟jvm谈不拢
: sql是必然的
: 另外coupondeal说得好，好轮子是鸡刀杀鸡，牛刀杀牛，不是拎个箱子，显个核按钮问
: 别人你服不服
|
z****e
发帖数: 54598 | 40 数学只是工具，数学不负责管理什么ai实现这些
索引简单，但是我相信所有的复杂东西都是层层简化后的结果
最后都必然是简单的，然后也有办法从简单的弄出复杂的来
【在 w***g 的大作中提到】
: text处理最简单是个假象。你说的简单是指按单词索引/统计的简单。到了理解这一层
: ，其实跟图像，音频是一样的。
: 现在的数学还没发展到那一步。图灵测试就可以通过text做。
: 彻底解决文本/图像/音频的理解，都依赖同一个未知的数学概念。这个概念一旦被发明
: 出来以后人们再回头看必然是一个很简单而又必须如此的概念。
|
|
|
c******o
发帖数: 1277 | 41 音频再如何，也是基本一维数据记录在一维媒体上。
图像是三维数据的一部分记录在二维媒体上。
非常不一样，肯定不是简单可以类推的。
视频就是更难了，加个时间轴。 |
w***g
发帖数: 5958 | 42 把“处理”换成“理解”吧。视频，音频，文本，怎么从raw data抽象出concept，怎
么建立concept之间的联系。
我猜测是人脑中肯定有一个负责理解的模块。别的音频视频等都先经过各自的预处理最
后进入这个理解模块。
文本可以看成是对某些音频/视频预处理的中间结果，离这个模块最接近，但并不等同
于最终的数据结构。
【在 c****t 的大作中提到】
: 人脑处理视频/音频不一样
|
z****e
发帖数: 54598 | 43 算法是数学
分布式有分布式算法
就专门针对这种网络上的差异，failure做设计
单机算法发展很多年了，自然在有些方面会比分布式走得远一点
但是并不代表以后就都hpc去了，不可能的
最终一堆烂机器拼凑起来，替代掉hpc是大势所趋
那怎么让这一堆烂机器听话，顶用，那这个就是现在要对付的问题
网络是future，各个单机算法可以做成网络版的
统计也可以做成网络版的，就是因为以前没做过，所以现在才要做
做了才有搞头，别人做过的东西，你可以不用做了，抄就行了
不懂就问，就是因为以前都是unix/c/fortran这些，所以现在才要做jvm上的版本
因为没有才要做，有了你可以不用做了，直接抄
scala就是搞这些东西的利器，搞hpc的可以不用scala，用fortran就好
【在 c****t 的大作中提到】
: 赵老师vision倒是不错，但基础的东东不行啊。
: deep learning这东西没前途。昙花一现的hype。
: r近几年发展比较猛。要stick的节奏。但您看好renjin不敢苟同。目前能优化统计算法
: 的绝大多数是unix/c/fortran培出来的，跟jvm谈不拢
: sql是必然的
: 另外coupondeal说得好，好轮子是鸡刀杀鸡，牛刀杀牛，不是拎个箱子，显个核按钮问
: 别人你服不服
|
z****e
发帖数: 54598 | 44 你说的是要识别图像里面的物体吗？
图像现在先对比两个图像是否相似就好了
再远的以后再说
【在 c******o 的大作中提到】
: 音频再如何，也是基本一维数据记录在一维媒体上。
: 图像是三维数据的一部分记录在二维媒体上。
: 非常不一样，肯定不是简单可以类推的。
: 视频就是更难了，加个时间轴。
|
c******o
发帖数: 1277 | 45 text/音频
和
图像/视频
这两个在本质上不一样，所以难度当然不能类推。
【在 z****e 的大作中提到】
: 你说的是要识别图像里面的物体吗？
: 图像现在先对比两个图像是否相似就好了
: 再远的以后再说
|
z****e
发帖数: 54598 | 46 一步步来了，不要急于求成，先把简单的搞定
【在 c******o 的大作中提到】
: text/音频
: 和
: 图像/视频
: 这两个在本质上不一样，所以难度当然不能类推。
|
z****e
发帖数: 54598 | 47 我觉得应该是层层简化后的结果
人不管看什么，第一步肯定是视频，其次简化成图像，然后把图像简化
去掉各种乱七八糟的比如颜色之类的干扰，最后再抽象成一个符号酱紫
这里面必然有一些共通的东西
【在 w***g 的大作中提到】
: 把“处理”换成“理解”吧。视频，音频，文本，怎么从raw data抽象出concept，怎
: 么建立concept之间的联系。
: 我猜测是人脑中肯定有一个负责理解的模块。别的音频视频等都先经过各自的预处理最
: 后进入这个理解模块。
: 文本可以看成是对某些音频/视频预处理的中间结果，离这个模块最接近，但并不等同
: 于最终的数据结构。
|
z****e
发帖数: 54598 | 48 我跟你看法不一样
我觉得应该是一样的
【在 c******o 的大作中提到】
: text/音频
: 和
: 图像/视频
: 这两个在本质上不一样，所以难度当然不能类推。
|
w***g
发帖数: 5958 | 49 这类问题有一个名字，叫 AI-complete 或 AI-hard。参考http://en.wikipedia.org/wiki/AI-complete
【在 z****e 的大作中提到】
: 我跟你看法不一样
: 我觉得应该是一样的
|
z****e
发帖数: 54598 | 50 你说的sql就是典型代表啊
以前设计db时候，从来不考虑分布式，都是单机就好了
结果现在被nosql狠狠地打下去，现在混得最惨的就是各类db以及依赖db的人类
因为不得不开始考虑网络和分布
最后还是会把界面做成sql，但是整个设计，base和acid完全不是一回事鸟
其他东西，包括统计工具，ai的类库，所有工具，如果不想象sql一样将来被革命的话
拥抱网络是必然的，网络时代来了，拒绝网络等于自杀
【在 c****t 的大作中提到】
: 赵老师vision倒是不错，但基础的东东不行啊。
: deep learning这东西没前途。昙花一现的hype。
: r近几年发展比较猛。要stick的节奏。但您看好renjin不敢苟同。目前能优化统计算法
: 的绝大多数是unix/c/fortran培出来的，跟jvm谈不拢
: sql是必然的
: 另外coupondeal说得好，好轮子是鸡刀杀鸡，牛刀杀牛，不是拎个箱子，显个核按钮问
: 别人你服不服
|
|
|
w***g
发帖数: 5958 | 51 我很好奇goodbug这种老油条会不会还对这类问题感兴趣，应该不会吧。
我现在还在看科幻世界，像我这样的人应该不多。
我目测赵策还有救。我前面survey的众多图像音频处理方法跟AI屁关系没有，那个都是
谋生手段。真要做出来AI还得另辟蹊径。
【在 z****e 的大作中提到】
: 我跟你看法不一样
: 我觉得应该是一样的
|
z****e
发帖数: 54598 | 52 它不得不感兴趣，这个是future，它可不会轻易掉队
当然谈理想是一回事，谈理想更象扯蛋
但是如果具体到实践，比如lucene还有elasticsearch
你觉得谁最有经验？
这两个不就有大量的text和string相似判断的理论应用？
我们说的这些不过是如何把这些东西应用到更为复杂的领域中去而已
但是我相信一旦有新的技术出来，估计古德霸上手得比你我都快不少
其实我到现在也还是不太懂jvm里面一些理论，这里也没几个人真懂
但是不妨碍我干活，新领域没办法，不得不先从理论创新开始
也就是不得不扯蛋，扯蛋对了之后再执行下去，做成类库
旧领域，不搞也罢
【在 w***g 的大作中提到】
: 我很好奇goodbug这种老油条会不会还对这类问题感兴趣，应该不会吧。
: 我现在还在看科幻世界，像我这样的人应该不多。
: 我目测赵策还有救。我前面survey的众多图像音频处理方法跟AI屁关系没有，那个都是
: 谋生手段。真要做出来AI还得另辟蹊径。
|
w***g
发帖数: 5958 | 53 其实是心态问题。从科幻的角度看，观察人类怎么艰难地往singularity迈进，一切就
很有意思，自己做的东西再不起眼，在这个大潮流中也有一个位置。换个心态就是我怎
么天天要给别人擦屁股，怎么天天要学新的东西，生活就会看似很miserable。
lucene和elasticsearch没听你们讨论过，说不出谁最有经验。
【在 z****e 的大作中提到】
: 它不得不感兴趣，这个是future，它可不会轻易掉队
: 当然谈理想是一回事，谈理想更象扯蛋
: 但是如果具体到实践，比如lucene还有elasticsearch
: 你觉得谁最有经验？
: 这两个不就有大量的text和string相似判断的理论应用？
: 我们说的这些不过是如何把这些东西应用到更为复杂的领域中去而已
: 但是我相信一旦有新的技术出来，估计古德霸上手得比你我都快不少
: 其实我到现在也还是不太懂jvm里面一些理论，这里也没几个人真懂
: 但是不妨碍我干活，新领域没办法，不得不先从理论创新开始
: 也就是不得不扯蛋，扯蛋对了之后再执行下去，做成类库
|
z****e
发帖数: 54598 | 54 这两个我也没怎么用过，我也只是知道一点理论而已，却动手经验
但是古德霸不是已经在指点那个dumbcoder怎么用了吗？
【在 w***g 的大作中提到】
: 其实是心态问题。从科幻的角度看，观察人类怎么艰难地往singularity迈进，一切就
: 很有意思，自己做的东西再不起眼，在这个大潮流中也有一个位置。换个心态就是我怎
: 么天天要给别人擦屁股，怎么天天要学新的东西，生活就会看似很miserable。
: lucene和elasticsearch没听你们讨论过，说不出谁最有经验。
|
w***g
发帖数: 5958 | 55 Lucene一个library而已，和hadoop, C*这类比复杂性要少一个数量级。
主要是技术非常成熟，不怎么会有surprise。Elastic search我没用过。
【在 z****e 的大作中提到】
: 这两个我也没怎么用过，我也只是知道一点理论而已，却动手经验
: 但是古德霸不是已经在指点那个dumbcoder怎么用了吗？
|
z****e
发帖数: 54598 | 56 偷偷告诉你
古德霸研究生读的是图形学
【在 w***g 的大作中提到】
: Lucene一个library而已，和hadoop, C*这类比复杂性要少一个数量级。
: 主要是技术非常成熟，不怎么会有surprise。Elastic search我没用过。
|
c******o
发帖数: 1277 | 57 Elastic search好，我的de facto standard.
【在 w***g 的大作中提到】
: Lucene一个library而已，和hadoop, C*这类比复杂性要少一个数量级。
: 主要是技术非常成熟，不怎么会有surprise。Elastic search我没用过。
|
N*****m
发帖数: 42603 | 58 ES丢数据，要小心
【在 c******o 的大作中提到】
: Elastic search好，我的de facto standard.
|
g*****g
发帖数: 34805 | 59 ES跟C*从使用者Learning curve上说大约一个级别。开发这些轮子难度我不知道，没有
一个是我写的。
现在都是SOA，ES作为一个standalone server，使用范围比较广，跟一个数据库类似。
Lucene更多的是要自己定制化搜索的时候用的。
【在 w***g 的大作中提到】
: Lucene一个library而已，和hadoop, C*这类比复杂性要少一个数量级。
: 主要是技术非常成熟，不怎么会有surprise。Elastic search我没用过。
|
c******o
发帖数: 1277 | 60 ES基本用来log/text search, 我不会把任何需要persist的key data放里面的，放里面
就是为了search, 储存的话另外。
【在 N*****m 的大作中提到】
: ES丢数据，要小心
|
|
|
g*****g
发帖数: 34805 | 61 You should not use it as the primary datastore. If your data is critical,
you should persist in another store and periodically repair the data, which
still works remarkably well if you don't need results to be absolutely real
time and accurate. We are using it for fuzzy search and as an aggregation
caching layer to generate json feeds.
【在 N*****m 的大作中提到】
: ES丢数据，要小心
|
z****e
发帖数: 54598 | 62 难道这个东西不是拿来当search engine用的？
都用es来做啥了？存数据？不会吧
【在 c******o 的大作中提到】
: ES基本用来log/text search, 我不会把任何需要persist的key data放里面的，放里面
: 就是为了search, 储存的话另外。
|
c****t
发帖数: 19049 | 63 赵老师对已存在的东东倒是见解不凡。不过靠已存在的东东搞不出您想的那种轮子 |
c****t
发帖数: 19049 | 64 不是
【在 z****e 的大作中提到】
: 我觉得应该是层层简化后的结果
: 人不管看什么，第一步肯定是视频，其次简化成图像，然后把图像简化
: 去掉各种乱七八糟的比如颜色之类的干扰，最后再抽象成一个符号酱紫
: 这里面必然有一些共通的东西
|
N*****m
发帖数: 42603 | 65 那样用处就不大了
which
real
【在 g*****g 的大作中提到】
: You should not use it as the primary datastore. If your data is critical,
: you should persist in another store and periodically repair the data, which
: still works remarkably well if you don't need results to be absolutely real
: time and accurate. We are using it for fuzzy search and as an aggregation
: caching layer to generate json feeds.
|
c****t
发帖数: 19049 | 66 无冬老师这个模型倒是大而全呵呵。不过这还是von neumann模型。“...建立concept
之间的联系...人脑中...有一个负责理解的模块。别的音频视频等都先经过各自的预处
理最后进入这个理解模块...”人脑不是这样工作的。ai在解逻辑问题上比不上人脑是
因为底层设计就不同
至于视频音频，最简单的例子是神马艺术啥的虽然大多数人可能看不上也不明白，但不
会觉得太恶心反感，“中域”很大。声音么，普通人能忍受的“中域”其实很小
【在 w***g 的大作中提到】
: 把“处理”换成“理解”吧。视频，音频，文本，怎么从raw data抽象出concept，怎
: 么建立concept之间的联系。
: 我猜测是人脑中肯定有一个负责理解的模块。别的音频视频等都先经过各自的预处理最
: 后进入这个理解模块。
: 文本可以看成是对某些音频/视频预处理的中间结果，离这个模块最接近，但并不等同
: 于最终的数据结构。
|
c*******9
发帖数: 9032 | 67 解逻辑问题和底层设计也许不相干。逻辑本身就是机械运算，人脑只是容易发掘出有
意义的东西。什么有意义评价标准在人，所以会觉得人解决数学问题比机器强。
视觉和声音尽管差别大，但也不能就此否定它们同源的可能。
concept
【在 c****t 的大作中提到】
: 无冬老师这个模型倒是大而全呵呵。不过这还是von neumann模型。“...建立concept
: 之间的联系...人脑中...有一个负责理解的模块。别的音频视频等都先经过各自的预处
: 理最后进入这个理解模块...”人脑不是这样工作的。ai在解逻辑问题上比不上人脑是
: 因为底层设计就不同
: 至于视频音频，最简单的例子是神马艺术啥的虽然大多数人可能看不上也不明白，但不
: 会觉得太恶心反感，“中域”很大。声音么，普通人能忍受的“中域”其实很小
|
z****e
发帖数: 54598 | 68 能不能搞出来，这个你说了不算
也没有人有把握，如果有把握，那说明已经搞定了
问题是还没有
【在 c****t 的大作中提到】
: 赵老师对已存在的东东倒是见解不凡。不过靠已存在的东东搞不出您想的那种轮子
|
z****e
发帖数: 54598 | 69 我觉得我的大脑是怎么处理的
否则很难解释一个人是如何把猫和一个具体的物体联系起来
还有一个中间物质那就是为什么漫画，漫画的元素少于现实中的物体
但是并不妨碍人认识漫画中的物体
【在 c****t 的大作中提到】
: 不是
|
z****e
发帖数: 54598 | 70 我觉得现在还谈不上怎么具体操作
先想办法把图像中的物体给识别了再说
其他后续怎么操作，想不了那么远
或者说那更多的是生物wsn要关心的
先一步步把声音，图像给识别出来
然后再讨论怎么更加智能化地处理这些东西
而且最后造出的skynet是不是跟人脑一样的结构
那这个很难说的，人脑这么处理并不代表电脑也一定要这么处理
世界是多元的
concept
【在 c****t 的大作中提到】
: 无冬老师这个模型倒是大而全呵呵。不过这还是von neumann模型。“...建立concept
: 之间的联系...人脑中...有一个负责理解的模块。别的音频视频等都先经过各自的预处
: 理最后进入这个理解模块...”人脑不是这样工作的。ai在解逻辑问题上比不上人脑是
: 因为底层设计就不同
: 至于视频音频，最简单的例子是神马艺术啥的虽然大多数人可能看不上也不明白，但不
: 会觉得太恶心反感，“中域”很大。声音么，普通人能忍受的“中域”其实很小
|
|
|
z****e
发帖数: 54598 | 71 现阶段，spark这些能做到的就是把string/text整清楚了
音频这些还没有现有的开源轮子可以搞
至于有些网站做了，那是网站自己的发明
图像还很吃力，等图像搞得差不多了，下一个就是视频
视频搞得差不多了，就可以连上传感器了
让电脑从多个角度识别出真正的物体，不过感觉没那么快
图像先研究研究
据说人脑有850亿个神经元
目前有哪个分布式觉得爆850亿个nodes很容易？
所以距离真正人脑的处理容量还非常遥远
光从数量上就达不到，复杂度更没得比
什么时候cloud上爆nodes动不动就爆上几亿个的时候
差不多ai就应该有点曙光了，能够跟人有点对话什么的
目前爆几百个就已经不少了，几百离几亿还有太遥远的距离 |
s********k
发帖数: 6180 | 72 用树莓派来做？
【在 l*******b 的大作中提到】
: ai绝对得并行, 几千个core都不够, 但是每个core都很简单。和现在的硬件体系不太搭
: 呀。
|
l*******b
发帖数: 2586 | 73 这个是什么?好吃的?哈哈
有100万个节点应该能模拟点有意思的东西。关键一个节点要简单, 才可能搞很多个。
【在 s********k 的大作中提到】
: 用树莓派来做？
|
g*****g
发帖数: 34805 | 74 所以现在流行cloud上用GPU干这事。一个GPU就1000个核，1000个结点就够了。
【在 l*******b 的大作中提到】
: 这个是什么?好吃的?哈哈
: 有100万个节点应该能模拟点有意思的东西。关键一个节点要简单, 才可能搞很多个。
|
l*******b
发帖数: 2586 | 75 这么好玩，哈哈
【在 g*****g 的大作中提到】
: 所以现在流行cloud上用GPU干这事。一个GPU就1000个核，1000个结点就够了。
|
