L****8 发帖数: 3938 | 1 最近做一个东西
知道feature是啥
svr效果很好 比 MLP 好
有人做过吧svm为nn的最后一层 不知道有没有人用tensorflow实现一把 |
W***o 发帖数: 6519 | 2 听起来有点像adaboost,把弱classifier 联合起来一起用
【在 L****8 的大作中提到】 : 最近做一个东西 : 知道feature是啥 : svr效果很好 比 MLP 好 : 有人做过吧svm为nn的最后一层 不知道有没有人用tensorflow实现一把
|
w***g 发帖数: 5958 | 3 90年代neural network就是在feature分类上被svm打得抬不起头。
deep learning的优势是feature extraction。如果已经有feature了,
几年前是svm, 现在无脑上xgboost。
deep learning虽然牛x,也还是有应用范围的。
这个实在是老生常谈了。
svm作为nn最后一层google "max margin loss tensorflow",用得好
回来汇报一下。
【在 L****8 的大作中提到】 : 最近做一个东西 : 知道feature是啥 : svr效果很好 比 MLP 好 : 有人做过吧svm为nn的最后一层 不知道有没有人用tensorflow实现一把
|
n******7 发帖数: 12463 | 4 所以feature extration不是问题的领域DL就没啥帮助了?
【在 w***g 的大作中提到】 : 90年代neural network就是在feature分类上被svm打得抬不起头。 : deep learning的优势是feature extraction。如果已经有feature了, : 几年前是svm, 现在无脑上xgboost。 : deep learning虽然牛x,也还是有应用范围的。 : 这个实在是老生常谈了。 : svm作为nn最后一层google "max margin loss tensorflow",用得好 : 回来汇报一下。
|
L****8 发帖数: 3938 | 5 按你这么说
我先用cnn训练 比如图像识别
然后把cnn最后一层或者两层去掉 然后接上xgboost 效果就会更好?
【在 w***g 的大作中提到】 : 90年代neural network就是在feature分类上被svm打得抬不起头。 : deep learning的优势是feature extraction。如果已经有feature了, : 几年前是svm, 现在无脑上xgboost。 : deep learning虽然牛x,也还是有应用范围的。 : 这个实在是老生常谈了。 : svm作为nn最后一层google "max margin loss tensorflow",用得好 : 回来汇报一下。
|
L****8 发帖数: 3938 | 6 xgb.XGBRegressor(max_depth=100, n_estimators=100)
挑了很多参数 max_depth n_estimators
还是不如svr
【在 w***g 的大作中提到】 : 90年代neural network就是在feature分类上被svm打得抬不起头。 : deep learning的优势是feature extraction。如果已经有feature了, : 几年前是svm, 现在无脑上xgboost。 : deep learning虽然牛x,也还是有应用范围的。 : 这个实在是老生常谈了。 : svm作为nn最后一层google "max margin loss tensorflow",用得好 : 回来汇报一下。
|
w***g 发帖数: 5958 | 7 max_depth从2往上调,一般不应该到10。
这个depth会自适应地长,你可能会发现max_depth=50或者100没有区别,因为
自动长可能也就长到几或者十几,max_depth没发挥作用。
如果样本少维度大,SVR还是可能有优势的。support vector破的就是overfitting,
而XGB的缺点正是overfitting。不过这都是理论。实战时发生短板吊打强项也不奇怪。
我印象中xgboost背后好像没啥像样的理论,感觉就是乱拳打死老拳师。
【在 L****8 的大作中提到】 : xgb.XGBRegressor(max_depth=100, n_estimators=100) : 挑了很多参数 max_depth n_estimators : 还是不如svr
|
L****8 发帖数: 3938 | 8 我又实验了一下random forest 不如 xgboost
都是10-fold cv
【在 w***g 的大作中提到】 : max_depth从2往上调,一般不应该到10。 : 这个depth会自适应地长,你可能会发现max_depth=50或者100没有区别,因为 : 自动长可能也就长到几或者十几,max_depth没发挥作用。 : 如果样本少维度大,SVR还是可能有优势的。support vector破的就是overfitting, : 而XGB的缺点正是overfitting。不过这都是理论。实战时发生短板吊打强项也不奇怪。 : 我印象中xgboost背后好像没啥像样的理论,感觉就是乱拳打死老拳师。
|