S*******e 发帖数: 525 | 1 下面是两个例子: 第一个是建立了Neural Network Model, 然后activate something
like 'softmax'. 第二个是Spark 的多维回归。 是不是第二个根本没有涉及NNM? 我
是斧头帮的...就想借借大杀器...还想唬外行.这两个算法是不是风马牛不相及,还是有
些内在联系? 是不是第一个算法通常会更好? 当然不管哪种方法,俺认为俺至少会把程
序给运行起来.
http://machinelearningmastery.com/multi-class-classification-tutorial-keras-deep-learning-library/
https://spark.apache.org/docs/latest/ml-classification-regression.html#
multinomial-logistic-regression |
w***g 发帖数: 5958 | 2 第二个本质上是没有hidden layer的NNM。
softmax + logloss (cross entropy) == logistic regression。
something
【在 S*******e 的大作中提到】 : 下面是两个例子: 第一个是建立了Neural Network Model, 然后activate something : like 'softmax'. 第二个是Spark 的多维回归。 是不是第二个根本没有涉及NNM? 我 : 是斧头帮的...就想借借大杀器...还想唬外行.这两个算法是不是风马牛不相及,还是有 : 些内在联系? 是不是第一个算法通常会更好? 当然不管哪种方法,俺认为俺至少会把程 : 序给运行起来. : http://machinelearningmastery.com/multi-class-classification-tutorial-keras-deep-learning-library/ : https://spark.apache.org/docs/latest/ml-classification-regression.html# : multinomial-logistic-regression
|
S*******e 发帖数: 525 | 3 多谢大师...稍明白一些了。根据你的提示,又看了看http://stats.stackexchange.com/questions/63152/what-does-the-hidden-layer-in-a-neural-network-compute。 第一个例子加了一层hidden layer。加一层或多层hidden layers (什么样的hidden layers)看样子要懂一些问题的特殊性(domain knowledge). 这就难了。
【在 w***g 的大作中提到】 : 第二个本质上是没有hidden layer的NNM。 : softmax + logloss (cross entropy) == logistic regression。 : : something
|
S*******e 发帖数: 525 | 4 这里有个推荐。。。说对大多问题一个hidden layer就充分了。不过这个答案是好多年
前的(2010),不知现在还适应吗?
【在 S*******e 的大作中提到】 : 多谢大师...稍明白一些了。根据你的提示,又看了看http://stats.stackexchange.com/questions/63152/what-does-the-hidden-layer-in-a-neural-network-compute。 第一个例子加了一层hidden layer。加一层或多层hidden layers (什么样的hidden layers)看样子要懂一些问题的特殊性(domain knowledge). 这就难了。
|
x****u 发帖数: 44466 | 5 一个hidden layer是保证表达力而已,但通常你没办法把这个超高维函数搞到完美收敛啊
有一种说法是局部极值和鞍点数是随着网络宽度而不是深度增加的,所以今天认为深的
比宽的有优势啊
【在 S*******e 的大作中提到】 : 这里有个推荐。。。说对大多问题一个hidden layer就充分了。不过这个答案是好多年 : 前的(2010),不知现在还适应吗?
|
w***g 发帖数: 5958 | 6 神经网络训练已抽取的特征数据,多余一hidden layer效果就会变差。
2000年左右被SVM打得满地找牙的就是这种一个hidden layer的神经网络。
【在 S*******e 的大作中提到】 : 这里有个推荐。。。说对大多问题一个hidden layer就充分了。不过这个答案是好多年 : 前的(2010),不知现在还适应吗?
|
s******e 发帖数: 114 | 7 wdong大神, Deep learning在特征抽取之后用fully connected NN, 是因为coding方便
,还是因为deep and窄的NN效果大于等于SVM?
【在 w***g 的大作中提到】 : 神经网络训练已抽取的特征数据,多余一hidden layer效果就会变差。 : 2000年左右被SVM打得满地找牙的就是这种一个hidden layer的神经网络。
|
w***g 发帖数: 5958 | 8 deep learning直接出结果,或者是再去xgboost或者别的什么过一下都有人干。
要叠加两个学习算法是个精细活,要调优并不是很容易,弄得不好比单独用两个都差。
【在 s******e 的大作中提到】 : wdong大神, Deep learning在特征抽取之后用fully connected NN, 是因为coding方便 : ,还是因为deep and窄的NN效果大于等于SVM?
|