f******h
发帖数: 46 | 1 上百个independent var肯定是有很强的multicollinearity的，于是就根据proc reg的
VI，从最大的VI开始剔除，一次一个，终于剩下的所有VI都比4小了。可是发现剩下的
independent var都跟dependent var的correlation很小，corr大的全都被剔除掉了，
郁闷啊。
这样的model明显好不了，事实也证明确实这样。随便拿了一个0.9 corr的var回来，简
单stepwise回归出来的model的R^2就提高了很多，而且也没有VI大于4的
multicollinearity。
这样只好来请教，倒底在删除存在multicollinearity的var的时候，应该遵循怎么个程
序？才能尽可能保证将来留下的变量和最优解尽可能接近 |
A*****n
发帖数: 243 | 2 试试PCA或者PLS？
【在 f******h 的大作中提到】
: 上百个independent var肯定是有很强的multicollinearity的，于是就根据proc reg的
: VI，从最大的VI开始剔除，一次一个，终于剩下的所有VI都比4小了。可是发现剩下的
: independent var都跟dependent var的correlation很小，corr大的全都被剔除掉了，
: 郁闷啊。
: 这样的model明显好不了，事实也证明确实这样。随便拿了一个0.9 corr的var回来，简
: 单stepwise回归出来的model的R^2就提高了很多，而且也没有VI大于4的
: multicollinearity。
: 这样只好来请教，倒底在删除存在multicollinearity的var的时候，应该遵循怎么个程
: 序？才能尽可能保证将来留下的变量和最优解尽可能接近
|
f******h
发帖数: 46 | 3 谢谢建议，我也考虑过fca或者pls。但是如果现在就需要用ols选取var subset的方法
，应该怎么搞？
【在 A*****n 的大作中提到】
: 试试PCA或者PLS？
|
D******n
发帖数: 2836 | 4 stepwise 可以你就stepwsie不就行了。
【在 f******h 的大作中提到】
: 上百个independent var肯定是有很强的multicollinearity的，于是就根据proc reg的
: VI，从最大的VI开始剔除，一次一个，终于剩下的所有VI都比4小了。可是发现剩下的
: independent var都跟dependent var的correlation很小，corr大的全都被剔除掉了，
: 郁闷啊。
: 这样的model明显好不了，事实也证明确实这样。随便拿了一个0.9 corr的var回来，简
: 单stepwise回归出来的model的R^2就提高了很多，而且也没有VI大于4的
: multicollinearity。
: 这样只好来请教，倒底在删除存在multicollinearity的var的时候，应该遵循怎么个程
: 序？才能尽可能保证将来留下的变量和最优解尽可能接近
|
s*******e
发帖数: 1385 | 5 是不是可以直接根据BIC做model selection，BIC对增加parameter的penalty最大，增
加Multicollinearity 的predictor对SSE的影响比较小。用BIC是不是会剔除
collinearity的variables。
我也不是很懂，如果觉得没有道理，请不要见怪。
【在 f******h 的大作中提到】
: 上百个independent var肯定是有很强的multicollinearity的，于是就根据proc reg的
: VI，从最大的VI开始剔除，一次一个，终于剩下的所有VI都比4小了。可是发现剩下的
: independent var都跟dependent var的correlation很小，corr大的全都被剔除掉了，
: 郁闷啊。
: 这样的model明显好不了，事实也证明确实这样。随便拿了一个0.9 corr的var回来，简
: 单stepwise回归出来的model的R^2就提高了很多，而且也没有VI大于4的
: multicollinearity。
: 这样只好来请教，倒底在删除存在multicollinearity的var的时候，应该遵循怎么个程
: 序？才能尽可能保证将来留下的变量和最优解尽可能接近
|
s*r
发帖数: 2757 | 6 high r^2 may be overfitting
"随便拿了一个0.9 corr的var" is confusing. correlation with the outcome
variable or the other predictor.
i remember the standard procedure should be first forward selection, then
back elimination.
【在 f******h 的大作中提到】
: 上百个independent var肯定是有很强的multicollinearity的，于是就根据proc reg的
: VI，从最大的VI开始剔除，一次一个，终于剩下的所有VI都比4小了。可是发现剩下的
: independent var都跟dependent var的correlation很小，corr大的全都被剔除掉了，
: 郁闷啊。
: 这样的model明显好不了，事实也证明确实这样。随便拿了一个0.9 corr的var回来，简
: 单stepwise回归出来的model的R^2就提高了很多，而且也没有VI大于4的
: multicollinearity。
: 这样只好来请教，倒底在删除存在multicollinearity的var的时候，应该遵循怎么个程
: 序？才能尽可能保证将来留下的变量和最优解尽可能接近
|
g********r
发帖数: 8017 | 7 lasso和它的n多变种。
【在 f******h 的大作中提到】
: 谢谢建议，我也考虑过fca或者pls。但是如果现在就需要用ols选取var subset的方法
: ，应该怎么搞？
|
n*****s
发帖数: 10232 | 8 我感觉lasso总是选比stepwise少的多的var（我用的proc glmselect里面的selection=
lasso），有时候会怀疑不可靠。。。实际很多时候在linear regression中，lasso的R
^2也确实比stepwise小（在stepwise结果可以接受的情况下）
【在 g********r 的大作中提到】
: lasso和它的n多变种。
|
n*****s
发帖数: 10232 | 9 这个先forward然后再backward，跟stepwise有什么本质区别？理论上怎么解释的
看过sas-l的一些帖子，简单的对付multicollinearity就用proc reg的collin option
，不过在分析output的时候用vif还是condition index有些争论。vif比较简单，ci貌
似提供的信息更多一些（可以分析出具体每个变量的collinearity都是由其它哪些变量
贡献的）。不过具体应该如何应用这些信息确定每一步保留/去掉哪个变量，还是没有
个清晰明确的判别方法。。。
【在 s*r 的大作中提到】
: high r^2 may be overfitting
: "随便拿了一个0.9 corr的var" is confusing. correlation with the outcome
: variable or the other predictor.
: i remember the standard procedure should be first forward selection, then
: back elimination.
|
d******e
发帖数: 7844 | 10 你选的variable多R^2当然大，这种明显overfitting的东西怎么可能拿来做model
selection。
要比肯定比Prediction Error啊。
你做做Cross Validation，一般来说，这种几百个variable的情况，Lasso肯定比
Stepwise强。
selection=
的R
【在 n*****s 的大作中提到】
: 我感觉lasso总是选比stepwise少的多的var（我用的proc glmselect里面的selection=
: lasso），有时候会怀疑不可靠。。。实际很多时候在linear regression中，lasso的R
: ^2也确实比stepwise小（在stepwise结果可以接受的情况下）
|
|
|
n*****s
发帖数: 10232 | 11 variable多R^2当然小？没有直接联系吧，R^2只表示response的variance有多少被解释
，要看也看variable选择的质量。。。
【在 d******e 的大作中提到】
: 你选的variable多R^2当然大，这种明显overfitting的东西怎么可能拿来做model
: selection。
: 要比肯定比Prediction Error啊。
: 你做做Cross Validation，一般来说，这种几百个variable的情况，Lasso肯定比
: Stepwise强。
:
: selection=
: 的R
|
d******e
发帖数: 7844 | 12 你难道没学过regression？
R^2肯定是variable越多越大。
【在 n*****s 的大作中提到】
: variable多R^2当然小？没有直接联系吧，R^2只表示response的variance有多少被解释
: ，要看也看variable选择的质量。。。
|
n*****s
发帖数: 10232 | 13 -__-//。。。你自己开始敲错了说越多越小，所以我才confused的。你咋改完自己原帖
又回头来说我
跳过这个，虽然stepwise我发现经常比lasso选择的variable数量多，但是并不一定表
明就是overfit吧。
这样obs少但是variables多的情况，我会用cross validation，不过在这之前，还是应
该clean up你的data base，尽可能先消除multi-col吧。我说的要点其实就是处理
multi-col阶段（还没到variable selection和cross validation），如何根据vif或者
condition index来确定每次去掉/保留哪个variable
【在 d******e 的大作中提到】
: 你难道没学过regression？
: R^2肯定是variable越多越大。
|
g********r
发帖数: 8017 | 14 lasso是有bias的。不知道你说的proc是不是纠正了bias，否则R2不可靠。另外lasso有
N多变种如adaptive lasso之类的。结果也不完全一样。
【在 n*****s 的大作中提到】
: -__-//。。。你自己开始敲错了说越多越小，所以我才confused的。你咋改完自己原帖
: 又回头来说我
: 跳过这个，虽然stepwise我发现经常比lasso选择的variable数量多，但是并不一定表
: 明就是overfit吧。
: 这样obs少但是variables多的情况，我会用cross validation，不过在这之前，还是应
: 该clean up你的data base，尽可能先消除multi-col吧。我说的要点其实就是处理
: multi-col阶段（还没到variable selection和cross validation），如何根据vif或者
: condition index来确定每次去掉/保留哪个variable
|
s*******y
发帖数: 2977 | 15 Rsqure大不一定是overfitting，跟你的number of variables and sample size都有关
系。建议看一看Frank Harrell的 regression modeling strategies。
lz的variable很多，建议fit model之前先检查colinearity，对于highly correlated
的variable，keep一个（比如说univariate fitting里rsquare最好的那个），然后再
用stepwise或penalized variable selection.不过2007年好像有个加拿大人写的一篇
文章做了很详细的simulation，比较了backward selection加或不加bootstrapping都
不会给出很好的结果，嘿嘿，eye-dropping conclusions。 |
f******h
发帖数: 46 | 16 当然也不是这么简单。比如我一股脑把所有上百个predictor都扔进去给sas自己用
stepwise选，那出来的model必定是存在很大的multicollinearity的overfitted的
model。
我说的＂随便拿了一个0.9 corr的var＂是指和response的corr有0.9。我都去掉
multicollinearity很大的predictor以后，又从去掉的那些里面随便拿了一个回来，然
后stepwise出来的model反而更好（R^2更大，而选择的predictor数量不多或者更少，
同时被选中的predictor之间也没有过大的multicollinearity）。这就让我感觉前面去
除multicollinearity的步骤是存在很大问题的。。。
【在 D******n 的大作中提到】
: stepwise 可以你就stepwsie不就行了。
|
f******h
发帖数: 46 | 17 确实multicollinearity的predictor对R^2的增长比较小，不过BIC是整个model的一个
参数，在我通过multicollinearity保留或者去除变量的时候，BIC并不能给我针对到变
量的信息，还不如TOL和VIF
【在 s*******e 的大作中提到】
: 是不是可以直接根据BIC做model selection，BIC对增加parameter的penalty最大，增
: 加Multicollinearity 的predictor对SSE的影响比较小。用BIC是不是会剔除
: collinearity的variables。
: 我也不是很懂，如果觉得没有道理，请不要见怪。
|
f******h
发帖数: 46 | 18 谢谢，刚刚上面回了一贴，说处理过multicollinearity以后的变量们发现并不是最好
的pool。。。我觉得是我multicollinearity处理方式不对头。我是在每一步去掉VIF最
大的那个变量，我也注意到这样的方式，很容易导致把那些和dependent variable的
correlation最大的predictor都去掉了。。。很ft
我想试试你的方法，在每组corr很大的变量中保留那个univariate R^2最大的。但是这
里也有问题：１）因为变量非常多，这种大corr的组合并不是mutually exclusive的，
就是说组和组的不同变量之间也很难避免一些corr很大，当然，这个可以考虑用
cluster analysis来交给sas解决；２）另一个问题是每组保留一个可靠吗？还是说在
经验上这样的做法是一种惯例？
correlated
【在 s*******y 的大作中提到】
: Rsqure大不一定是overfitting，跟你的number of variables and sample size都有关
: 系。建议看一看Frank Harrell的 regression modeling strategies。
: lz的variable很多，建议fit model之前先检查colinearity，对于highly correlated
: 的variable，keep一个（比如说univariate fitting里rsquare最好的那个），然后再
: 用stepwise或penalized variable selection.不过2007年好像有个加拿大人写的一篇
: 文章做了很详细的simulation，比较了backward selection加或不加bootstrapping都
: 不会给出很好的结果，嘿嘿，eye-dropping conclusions。
|
D******n
发帖数: 2836 | 19 一个model好不好得CV一下吧，你好像自己给自己加了很多assumptions，又不想multic
ollinearity，又想R2高。
【在 f******h 的大作中提到】
: 当然也不是这么简单。比如我一股脑把所有上百个predictor都扔进去给sas自己用
: stepwise选，那出来的model必定是存在很大的multicollinearity的overfitted的
: model。
: 我说的＂随便拿了一个0.9 corr的var＂是指和response的corr有0.9。我都去掉
: multicollinearity很大的predictor以后，又从去掉的那些里面随便拿了一个回来，然
: 后stepwise出来的model反而更好（R^2更大，而选择的predictor数量不多或者更少，
: 同时被选中的predictor之间也没有过大的multicollinearity）。这就让我感觉前面去
: 除multicollinearity的步骤是存在很大问题的。。。
|
s*r
发帖数: 2757 | 20 in a good model like
y= x1 x2 x3 x4
and you want every x_i to be correlated with y. I would NOT be surprised if
some x_i are correlated more or less. this is an observational study. if you
hate correlation so much, do a controlled experiment.
bic is what you need. you are right bic is for an entire model, and one bic
is not so useful. but the difference between bic2 and bic1 tells you whether
to include x3 :
y = x1 x2 ->bic1
y = x1 x2 x3 ->bic2 |
|
|
s*******y
发帖数: 2977 | 21 不知道可靠性怎样。我们可以合作做一个simulatino study哈。
【在 f******h 的大作中提到】
: 谢谢，刚刚上面回了一贴，说处理过multicollinearity以后的变量们发现并不是最好
: 的pool。。。我觉得是我multicollinearity处理方式不对头。我是在每一步去掉VIF最
: 大的那个变量，我也注意到这样的方式，很容易导致把那些和dependent variable的
: correlation最大的predictor都去掉了。。。很ft
: 我想试试你的方法，在每组corr很大的变量中保留那个univariate R^2最大的。但是这
: 里也有问题：１）因为变量非常多，这种大corr的组合并不是mutually exclusive的，
: 就是说组和组的不同变量之间也很难避免一些corr很大，当然，这个可以考虑用
: cluster analysis来交给sas解决；２）另一个问题是每组保留一个可靠吗？还是说在
: 经验上这样的做法是一种惯例？
:
|
f******h
发帖数: 46 | 22 那针对我的具体问题，请教你会如何screen out multicollinearity 得到variable的subset？
multic
【在 D******n 的大作中提到】
: 一个model好不好得CV一下吧，你好像自己给自己加了很多assumptions，又不想multic
: ollinearity，又想R2高。
|
f******h
发帖数: 46 | 23 这是个ad hoc(?)的建模，并不适合controlled experiment ：）
你说的很对，如果model里面的predictor都和response很相关，那很可以理解他们也非
常可能存在很大的multicollinearity。不过是不是和response相关度大并不是我最终
追求的，我追求的只是，完成清理multicollinearity以后得到的variable subset，在
接下来的variable selection中给我尽可能接近最优解的model
（也许像前面人说的，不能通过R^2来判断这个model优劣，而需要切实validate
model的predictive performance）
而我现在怀疑的是，我在处理multicolinearity的过程中，使用的方法是不是得当。或
者说有没有比较被接受认同的常用筛选方法。
希望我表达清楚了疑问点。。。
if
you
bic
whether
【在 s*r 的大作中提到】
: in a good model like
: y= x1 x2 x3 x4
: and you want every x_i to be correlated with y. I would NOT be surprised if
: some x_i are correlated more or less. this is an observational study. if you
: hate correlation so much, do a controlled experiment.
: bic is what you need. you are right bic is for an entire model, and one bic
: is not so useful. but the difference between bic2 and bic1 tells you whether
: to include x3 :
: y = x1 x2 ->bic1
: y = x1 x2 x3 ->bic2
|
f******h
发帖数: 46 | 24 那在SAS上应该如何正确使用lasso？
【在 g********r 的大作中提到】
: lasso是有bias的。不知道你说的proc是不是纠正了bias，否则R2不可靠。另外lasso有
: N多变种如adaptive lasso之类的。结果也不完全一样。
|
l*********s
发帖数: 5409 | 25 if some variables are highly correlated with the response, why not use them
to build a parsimonious model? |
n*****s
发帖数: 10232 | 26 在想对于parsimonious model来说，几乎某一两个predictor是dominator整个model的
，如果这样的predictor出现一些波动，对model的影响就很大。
them
【在 l*********s 的大作中提到】
: if some variables are highly correlated with the response, why not use them
: to build a parsimonious model?
|
