c*****k
发帖数: 42 | 1 请教版上的统计Ph.D.们一个model selection problem.
问题：两种不同方法estimate出不同的结果。这两个模型都有各自的优缺点。现在想把
这两个模型给合并起来。
方法：
(1)简单的平均两个模型的estimation结果
(2)Bayesian Model Averaging?
(3)Model combination models?
(4)其他？
请给出一些文献，关键字，例子。
多谢！ |
D******n
发帖数: 2836 | 2 不是stat phd的飘过。
一般来说有多个models的话可以做BAGGING 和boosting
不过好像对于弱分类器才有效。
【在 c*****k 的大作中提到】
: 请教版上的统计Ph.D.们一个model selection problem.
: 问题：两种不同方法estimate出不同的结果。这两个模型都有各自的优缺点。现在想把
: 这两个模型给合并起来。
: 方法：
: (1)简单的平均两个模型的estimation结果
: (2)Bayesian Model Averaging?
: (3)Model combination models?
: (4)其他？
: 请给出一些文献，关键字，例子。
: 多谢！
|
c*****k
发帖数: 42 | 3 您说的是这个吗？
http://en.wikipedia.org/wiki/Bootstrap_aggregating
http://en.wikipedia.org/wiki/Boosting
我都是第一次听说过的。
第一个Bagging好像是相关的，第二个看不懂。
我的问题是想把两个model的estimation给combine起来。例如，两个用Least Squares
方法estimate的结果给combine起来。这两个模型可能基于不同的data，和parameter。
我是工程的，没有Machine learning的背景。只学过计量经济，相对于统计就算小菜了
。 |
D******n
发帖数: 2836 | 4 combine没啥办法，一般就是voting和average，关键是那些models是怎么产生。
bagging是用不同的bootstrap data去train model，然后平均这些model
boosting就是每步都变化example的weight去train一个model，最后也是加权平均这些m
odels，
你只有两个model，也没啥办法了，BMA，好像实际效果不好，你可以看看。
这些东西都有个统称，叫ensemble method，当然不同field可能有不同叫法。或者叫co
nsensus。
Squares
【在 c*****k 的大作中提到】
: 您说的是这个吗？
: http://en.wikipedia.org/wiki/Bootstrap_aggregating
: http://en.wikipedia.org/wiki/Boosting
: 我都是第一次听说过的。
: 第一个Bagging好像是相关的，第二个看不懂。
: 我的问题是想把两个model的estimation给combine起来。例如，两个用Least Squares
: 方法estimate的结果给combine起来。这两个模型可能基于不同的data，和parameter。
: 我是工程的，没有Machine learning的背景。只学过计量经济，相对于统计就算小菜了
: 。
|
c*****k
发帖数: 42 | 5 多谢！
如果其中的一个model只有estimation 结果，就是说也不知道具体是怎么做的；但是第
二个model就是利用GLS加上新的数据；那么如果想把两个model的结果combine起来，有
这种方法吗？
因为看您给出的方法，好像都要train之前的model，所以要需要每个model的实现方法
和数据吧？ |
c*****k
发帖数: 42 | |
D******n
发帖数: 2836 | 7 我说那些方法，model都是同质的，只是train他们的data不一样，最后这些不同的mode
l的平均产生最终结果。
你现在就两个不同的model，我就不知道怎么average了，可以当成是两个predictor va
riable相加，你就在一个training set上优化一下weight就是了。
【在 c*****k 的大作中提到】
: 多谢！
: 如果其中的一个model只有estimation 结果，就是说也不知道具体是怎么做的；但是第
: 二个model就是利用GLS加上新的数据；那么如果想把两个model的结果combine起来，有
: 这种方法吗？
: 因为看您给出的方法，好像都要train之前的model，所以要需要每个model的实现方法
: 和数据吧？
|
S******y
发帖数: 1123 | |
s**********e
发帖数: 63 | 9 Bayesian 的可以通过matlab 实现：
Step 1: Gibbs Sampling - take marginal probability distribution of your
Estimate Result and run Gibbs Sampler. Starting value - Your OLS result or
whatever model you used to estimate the parameters.
Step 2: Get your posterior and and use Chibs method to yield the Log
Marginal (LME) Likelihood of each model. Take the exponents of the LME, then
you would derive your Marginal likelihood (ML). (Simply taking the
exponents of the LME), Add the ML of all of your models, they s |
