f******5
发帖数: 104 | 1 刚面了bing，被一个问题卡住了，求教： 用linear regression 去 train一个10维的
数据（sum of square error），其中有3个variables 对应的系数为0，3个为负，另外
4个为正；remove 三个系数为0的variable对train error有什么影响， remove 3个系
数为负的variables对train error有什么影响 |
c***d
发帖数: 70 | 2 sum of squared error 是residual sum of square （RSS）吗？
如果是的话，增加covariate的数量就会减小RSS
所以不管移除哪个变量，RSS都增加
【在 f******5 的大作中提到】
: 刚面了bing，被一个问题卡住了，求教： 用linear regression 去 train一个10维的
: 数据（sum of square error），其中有3个variables 对应的系数为0，3个为负，另外
: 4个为正；remove 三个系数为0的variable对train error有什么影响， remove 3个系
: 数为负的variables对train error有什么影响
|
c**********a
发帖数: 659 | 3 这是一道常考题，你去做做功课．
网上，书上应该有答案．
看看一亩三分地的面经，有些关于统计面试的讨论，一个方面就是过一遍基础知识．
【在 f******5 的大作中提到】
: 刚面了bing，被一个问题卡住了，求教： 用linear regression 去 train一个10维的
: 数据（sum of square error），其中有3个variables 对应的系数为0，3个为负，另外
: 4个为正；remove 三个系数为0的variable对train error有什么影响， remove 3个系
: 数为负的variables对train error有什么影响
|
H**********f
发帖数: 2978 | 4 说实话出这逼题的人挺恶心的。
去掉0的，根本就是同一模型，error没影响，费鸡吧话
去掉负的，error变大，草他吗跟正负有毛关系
【在 f******5 的大作中提到】
: 刚面了bing，被一个问题卡住了，求教： 用linear regression 去 train一个10维的
: 数据（sum of square error），其中有3个variables 对应的系数为0，3个为负，另外
: 4个为正；remove 三个系数为0的variable对train error有什么影响， remove 3个系
: 数为负的variables对train error有什么影响
|
y********g
发帖数: 81 | 5 出这个题的人有点无聊，不过第一个问题还是有点意思的。
去掉系数为0的数training error当然是不变，但是非零系数的稳定性增强，或者说p-
value减小。这个结果我估计面试官自己都没想到。
【在 f******5 的大作中提到】
: 刚面了bing，被一个问题卡住了，求教： 用linear regression 去 train一个10维的
: 数据（sum of square error），其中有3个variables 对应的系数为0，3个为负，另外
: 4个为正；remove 三个系数为0的variable对train error有什么影响， remove 3个系
: 数为负的variables对train error有什么影响
|
b*****s
发帖数: 11267 | 6 当我们说degree of freedom的时候，只考虑非零系数啊
【在 y********g 的大作中提到】
: 出这个题的人有点无聊，不过第一个问题还是有点意思的。
: 去掉系数为0的数training error当然是不变，但是非零系数的稳定性增强，或者说p-
: value减小。这个结果我估计面试官自己都没想到。
|
n*******0
发帖数: 2002 | 7 我也是这么觉得。不过我不知道是不是错了。
【在 H**********f 的大作中提到】
: 说实话出这逼题的人挺恶心的。
: 去掉0的，根本就是同一模型，error没影响，费鸡吧话
: 去掉负的，error变大，草他吗跟正负有毛关系
|
B****n
发帖数: 11290 | 8 需要問一下系數為0是指coefficient的true value還是estimate 的值
如果是true value的話 training error還是會減少 因為estimate的值不會真的等於0
但是validation error並不會減少
【在 H**********f 的大作中提到】
: 说实话出这逼题的人挺恶心的。
: 去掉0的，根本就是同一模型，error没影响，费鸡吧话
: 去掉负的，error变大，草他吗跟正负有毛关系
|
