由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Statistics版 - 请教linear regression中的subset selection算法
相关主题
用什么参数来评估Non-linear Regression Model?很desperate,求问生物统计牛人一些interview技术问题。。。。
如何确定什么情况time series,什么情况linear reg?##面试过了,问题求解答##
请问:R-square 可以用来评估GLM model得好坏吗弱问个用R fit GLM的问题
questions about intercept term in regression请教牛人们关于time series 的 linear regression 问题
请教 这个GLM问题如何回答linear regression的时候
一道统计面试题a question
问一个R的问题Is there any correlation between the two data set?
求solver很困惑的一个regression的问题: x is calculated from y
相关话题的讨论汇总
话题: selection话题: subset话题: regression话题: 算法话题: linear
进入Statistics版参与讨论
1 (共1页)
c******g
发帖数: 63
1
小弟是新手。想请教一下关于linear regression中的subset selection,比如用leaps
and bound选best subset,还有greedy的forward step-wise selection和backward
step-wise selection这些算法,在哪本书或参考资料里有讲得详细一点的?(就是具
体的算法流程是怎样的,最好有点example)
像The Elements of Statistical Learning这本书对这些就是泛泛而讲,比如forward
selection是从0个变量开始,一个一个加--idea当然是这样,但具体地怎么操作呢?
比如什么是挑选哪个新变量加入的metric呢(RSS?test error还是什么Mallow's Cp)
?什么是terminal condition表示不加了呢……这些都没讲……
非常感谢!
B******5
发帖数: 4676
2
这难道不是很清楚么,可以有不同的criterion,
有能improve的就加进去,不能的话就结束,这就是greedy了吧
s*r
发帖数: 2757
3
现在lasso都是基本的算法了
s*****1
发帖数: 9
4
Probably it is not the best way to spend your time on the details of those
algorithms. Get the basic ideas, and you are free to use many variations. I
would suggest that you read SAS documentation for those methods.
A*******s
发帖数: 3942
5
Subset Selection in Regression这本书讲了不少细节,不过我觉得内容有点老。网上
有电子书。
简单来说GLM的automatic selection都是基于likelihood的,一般来说是likelihood
ratio test with pre-specified significance level,当然也可以用AIC,BIC,
cross validation之类的。

leaps
forward

【在 c******g 的大作中提到】
: 小弟是新手。想请教一下关于linear regression中的subset selection,比如用leaps
: and bound选best subset,还有greedy的forward step-wise selection和backward
: step-wise selection这些算法,在哪本书或参考资料里有讲得详细一点的?(就是具
: 体的算法流程是怎样的,最好有点example)
: 像The Elements of Statistical Learning这本书对这些就是泛泛而讲,比如forward
: selection是从0个变量开始,一个一个加--idea当然是这样,但具体地怎么操作呢?
: 比如什么是挑选哪个新变量加入的metric呢(RSS?test error还是什么Mallow's Cp)
: ?什么是terminal condition表示不加了呢……这些都没讲……
: 非常感谢!

1 (共1页)
进入Statistics版参与讨论
相关主题
很困惑的一个regression的问题: x is calculated from y请教 这个GLM问题如何回答
how to determine data fit some distribution? thanks一道统计面试题
怎样比较hierarchical model问一个R的问题
what is happening if I got Big negarive AIC/BIC? help~求solver
用什么参数来评估Non-linear Regression Model?很desperate,求问生物统计牛人一些interview技术问题。。。。
如何确定什么情况time series,什么情况linear reg?##面试过了,问题求解答##
请问:R-square 可以用来评估GLM model得好坏吗弱问个用R fit GLM的问题
questions about intercept term in regression请教牛人们关于time series 的 linear regression 问题
相关话题的讨论汇总
话题: selection话题: subset话题: regression话题: 算法话题: linear