由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
DataSciences版 - 计算 confidence interval 和 prediction interval的一般方法
相关主题
[Data Science Project Case]Future Income predicting[Data Science Project] Location data quality
急,xgboost prediction的问题求助 信息提取 (转载)
p value被摈弃了?如何算confidence interval之类的东西?feature selection的方法求教
问个R的问题PCA 可以用在mixture of continuous 和categorical variables (转载)
Postdoctoral Fellowship at UConnT家onsite面经
2016 International Conference on Applied Mathematics and Data Science (ICAMDS2016)怎样能才能快速的找到KNN
求handle missing data的好方法求教linear regression的一道面试题
[Road map] From ClickStream to ConsumerInsight请教一个用R做cox regression的问题
相关话题的讨论汇总
话题: interval话题: prediction话题: confidence话题: 模型话题: 计算
进入DataSciences版参与讨论
1 (共1页)
a********e
发帖数: 78
1
针对一个数据集建立回归模型后,如何计算 confidence interval 和 prediction
interval. R 里的predict.lm 能够提供这两个指标。这只是针对线性回归的。 但还
有其他
general的模型比如 cart,gam.感觉这两个指标应该是基于bootstrap方法的,但没找
到相关文献。
m******a
发帖数: 77
2
大致作法应该是这样的
1. 你有一列数据点(y0, x0), 这里x应理解为N维矢量
你的模型是 y = f(x, c), c 是一列模型参数
在你建模型时, 你是要定出这一列参数 c, 同时你还应该得到对应的 Covariance
Matrix
通常的软件都提供这些信息
2. 有了Covariance Matrix后, 你可以生成很多列参数 c,
下面实际是作一些 Monte Carlo 模拟,
对应每一个数据点, 你都有很多 prediction - 因为每列c 给一个prediction
因此, 如果你有 D 个数据点的话,
你得到 D by D 的一个Covariance Matrix M -别和前面的Covariance Matrix混淆
3. 现在你可以算出来 Chi-Square
SUM( (y0 - y) M^-1 (y0 - y) )
同时, D 就是你的自由度数
有了这两个, 查表就知道你的 confidence level, 就是你的模型有多可靠
4. 关于你说的 confidence interval 和 prediction interval, 不是太清楚你想干吗,
感觉和第二步有关系, 因为对每一个数据点, 知道对应的模型预测值和相应的
ERROR, 所以你可以得到相应的confidence interval 和 prediction interval, 不知
到你是否需要考虑数据点本身的统计误差

【在 a********e 的大作中提到】
: 针对一个数据集建立回归模型后,如何计算 confidence interval 和 prediction
: interval. R 里的predict.lm 能够提供这两个指标。这只是针对线性回归的。 但还
: 有其他
: general的模型比如 cart,gam.感觉这两个指标应该是基于bootstrap方法的,但没找
: 到相关文献。

a****k
发帖数: 117
3
Refer to J. A. Rice's "Mathematical statistics and data analysis", Third
edition, Chapter 14.
1 (共1页)
进入DataSciences版参与讨论
相关主题
请教一个用R做cox regression的问题Postdoctoral Fellowship at UConn
Statistics PhD 如何转data scientist2016 International Conference on Applied Mathematics and Data Science (ICAMDS2016)
困惑: 用cross validationce 来评估performance的时候,还需要把原始的dataset区分为train 和test吗?求handle missing data的好方法
请问data scientist 相关职务,面试要准备什么?[Road map] From ClickStream to ConsumerInsight
[Data Science Project Case]Future Income predicting[Data Science Project] Location data quality
急,xgboost prediction的问题求助 信息提取 (转载)
p value被摈弃了?如何算confidence interval之类的东西?feature selection的方法求教
问个R的问题PCA 可以用在mixture of continuous 和categorical variables (转载)
相关话题的讨论汇总
话题: interval话题: prediction话题: confidence话题: 模型话题: 计算