由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - svm/svr还是不错的
相关主题
xgboost 训练小感some problems with "cin"
单变量xgboost模型好的吓人,求解A problem on string parsing (using either grep or perl)
求教 xgboost train error 非常小,咋回事有没有做sentiment analysis的,求思路
彻底抛弃xgboost 找新欢lightlgm没毛病吧?xgboost 训练大数据问题
xgboost 里面的tree到底是一整个depth=N的树,还是一个binary请问xgboost训练需要保持不同类别样本数尽量一致吗?
胡扯几句什么叫Deep Learning入门Re: Zillow Prize kaggle的比赛 求问
DL一个基础问题:大家试过 h2o吗?
有人能解释一下这段C++代码吗xgboost预测结果不一致怎么回事?
相关话题的讨论汇总
话题: svr话题: svm话题: depth话题: feature话题: max
进入Programming版参与讨论
1 (共1页)
L****8
发帖数: 3938
1
最近做一个东西
知道feature是啥
svr效果很好 比 MLP 好
有人做过吧svm为nn的最后一层 不知道有没有人用tensorflow实现一把
W***o
发帖数: 6519
2
听起来有点像adaboost,把弱classifier 联合起来一起用

【在 L****8 的大作中提到】
: 最近做一个东西
: 知道feature是啥
: svr效果很好 比 MLP 好
: 有人做过吧svm为nn的最后一层 不知道有没有人用tensorflow实现一把

w***g
发帖数: 5958
3
90年代neural network就是在feature分类上被svm打得抬不起头。
deep learning的优势是feature extraction。如果已经有feature了,
几年前是svm, 现在无脑上xgboost。
deep learning虽然牛x,也还是有应用范围的。
这个实在是老生常谈了。
svm作为nn最后一层google "max margin loss tensorflow",用得好
回来汇报一下。

【在 L****8 的大作中提到】
: 最近做一个东西
: 知道feature是啥
: svr效果很好 比 MLP 好
: 有人做过吧svm为nn的最后一层 不知道有没有人用tensorflow实现一把

n******7
发帖数: 12463
4
所以feature extration不是问题的领域DL就没啥帮助了?

【在 w***g 的大作中提到】
: 90年代neural network就是在feature分类上被svm打得抬不起头。
: deep learning的优势是feature extraction。如果已经有feature了,
: 几年前是svm, 现在无脑上xgboost。
: deep learning虽然牛x,也还是有应用范围的。
: 这个实在是老生常谈了。
: svm作为nn最后一层google "max margin loss tensorflow",用得好
: 回来汇报一下。

L****8
发帖数: 3938
5
按你这么说
我先用cnn训练 比如图像识别
然后把cnn最后一层或者两层去掉 然后接上xgboost 效果就会更好?

【在 w***g 的大作中提到】
: 90年代neural network就是在feature分类上被svm打得抬不起头。
: deep learning的优势是feature extraction。如果已经有feature了,
: 几年前是svm, 现在无脑上xgboost。
: deep learning虽然牛x,也还是有应用范围的。
: 这个实在是老生常谈了。
: svm作为nn最后一层google "max margin loss tensorflow",用得好
: 回来汇报一下。

L****8
发帖数: 3938
6
xgb.XGBRegressor(max_depth=100, n_estimators=100)
挑了很多参数 max_depth n_estimators
还是不如svr

【在 w***g 的大作中提到】
: 90年代neural network就是在feature分类上被svm打得抬不起头。
: deep learning的优势是feature extraction。如果已经有feature了,
: 几年前是svm, 现在无脑上xgboost。
: deep learning虽然牛x,也还是有应用范围的。
: 这个实在是老生常谈了。
: svm作为nn最后一层google "max margin loss tensorflow",用得好
: 回来汇报一下。

w***g
发帖数: 5958
7
max_depth从2往上调,一般不应该到10。
这个depth会自适应地长,你可能会发现max_depth=50或者100没有区别,因为
自动长可能也就长到几或者十几,max_depth没发挥作用。
如果样本少维度大,SVR还是可能有优势的。support vector破的就是overfitting,
而XGB的缺点正是overfitting。不过这都是理论。实战时发生短板吊打强项也不奇怪。
我印象中xgboost背后好像没啥像样的理论,感觉就是乱拳打死老拳师。

【在 L****8 的大作中提到】
: xgb.XGBRegressor(max_depth=100, n_estimators=100)
: 挑了很多参数 max_depth n_estimators
: 还是不如svr

L****8
发帖数: 3938
8
我又实验了一下random forest 不如 xgboost
都是10-fold cv

【在 w***g 的大作中提到】
: max_depth从2往上调,一般不应该到10。
: 这个depth会自适应地长,你可能会发现max_depth=50或者100没有区别,因为
: 自动长可能也就长到几或者十几,max_depth没发挥作用。
: 如果样本少维度大,SVR还是可能有优势的。support vector破的就是overfitting,
: 而XGB的缺点正是overfitting。不过这都是理论。实战时发生短板吊打强项也不奇怪。
: 我印象中xgboost背后好像没啥像样的理论,感觉就是乱拳打死老拳师。

1 (共1页)
进入Programming版参与讨论
相关主题
xgboost预测结果不一致怎么回事?xgboost 里面的tree到底是一整个depth=N的树,还是一个binary
新码工请教如何处理修bug和开发features (转载)胡扯几句什么叫Deep Learning入门
没人讨论狗家最新开源的tensorflow?DL一个基础问题:
Tensorflow course (FREE Deep Learning)有人能解释一下这段C++代码吗
xgboost 训练小感some problems with "cin"
单变量xgboost模型好的吓人,求解A problem on string parsing (using either grep or perl)
求教 xgboost train error 非常小,咋回事有没有做sentiment analysis的,求思路
彻底抛弃xgboost 找新欢lightlgm没毛病吧?xgboost 训练大数据问题
相关话题的讨论汇总
话题: svr话题: svm话题: depth话题: feature话题: max