q**j
发帖数: 10612 | 1 多谢了。问题是这样的。比如：
y_t = F * theta_t + v_t
theta_t = G * theta_(t-1) + w_t
这里v_t，w_t都是normal with 0 mean and variance V and W. F,G知道的。
假设 theta_0 是normal(m0, C0)分布，m0, C0 known。用kalman filter那一套就可以
估计 V and W。而且hessian of log likelihood function就是这个mle estimator的
covariance matrix。这不是很容易就拿到了 f(参数 V, W|数据 y_t）了？我们可以sa
mple V, W，然后去forecast以后的theta或者y_t。这样不是很简单明白么？
可是好像大部分书上不这样搞。一般都是要把theta加进来sample。请问这个是为什么？
多谢了。 |
F******n
发帖数: 160 | 2 不是高手，只是对kalman filter熟悉，略微了解一些Bayesian DLM的基本概念，所以
也许可以讨论一下。我的讨论见下面。
对于正态的噪声，标准“卡尔曼滤波”和标准、简单的“贝叶斯线性动力模型”应该就
是一回事吧。而且对整个系统有封闭的解析结果。
：而且hessian of log likelihood function就是这个mle estimator的
sa
么？
不太确定我理解了你这个问题，就我所理解和知道的说说。
标准“卡尔曼滤波”针对的主要问题不是预测，而是实时滤波和估计。比如说，对于一
个线性动力系统，你观察到一系列数据，想估算某些动力状态量，最简单的像定位跟踪
系统，你知道动力模型，观测到目标在每一个时刻的位置坐标，想算出速度，加速度，
角速度等等。当然你不能用简单的两个时刻的位置一减除以时间间隔来做。这些速度，
加速度，角速度就是上面模型里的theta_t（不可直接观测的“隐含”动力态）。所以
“卡尔曼滤波”（或者正态噪声的“贝叶斯线性动力模型”）问题就是这样一个构造:
1. 估计问题：当观测到一个新数据y_t（位置），借助y_t = F * theta_t + v_t, 用
模型估计当前时刻隐含的状态量theta_t（速度，等等）
2. 预测问题：通过theta_t = G * theta_(t-1) + w_t， 用模型估计下一时刻的隐含
状态量theta_（t+1）（速度，等等）。
所以在这一类实际问题中，theta_t有具体的物理意义和需要。当然，如果你只是关心
多步预测问题，比如说k步，f{y_(t+k) | y_t, ... y_0}, 也是可以容易构造的。
【在 q**j 的大作中提到】
: 多谢了。问题是这样的。比如：
: y_t = F * theta_t + v_t
: theta_t = G * theta_(t-1) + w_t
: 这里v_t，w_t都是normal with 0 mean and variance V and W. F,G知道的。
: 假设 theta_0 是normal(m0, C0)分布，m0, C0 known。用kalman filter那一套就可以
: 估计 V and W。而且hessian of log likelihood function就是这个mle estimator的
: covariance matrix。这不是很容易就拿到了 f(参数 V, W|数据 y_t）了？我们可以sa
: mple V, W，然后去forecast以后的theta或者y_t。这样不是很简单明白么？
: 可是好像大部分书上不这样搞。一般都是要把theta加进来sample。请问这个是为什么？
: 多谢了。
|
F******n
发帖数: 160 | 3 另外忘了说了， 对于非正态（或者非线性）的模型，就没有简单的解析结果了，分布
的估计只能用数值的，比如蒙德卡罗。
的
sa
么？
【在 q**j 的大作中提到】
: 多谢了。问题是这样的。比如：
: y_t = F * theta_t + v_t
: theta_t = G * theta_(t-1) + w_t
: 这里v_t，w_t都是normal with 0 mean and variance V and W. F,G知道的。
: 假设 theta_0 是normal(m0, C0)分布，m0, C0 known。用kalman filter那一套就可以
: 估计 V and W。而且hessian of log likelihood function就是这个mle estimator的
: covariance matrix。这不是很容易就拿到了 f(参数 V, W|数据 y_t）了？我们可以sa
: mple V, W，然后去forecast以后的theta或者y_t。这样不是很简单明白么？
: 可是好像大部分书上不这样搞。一般都是要把theta加进来sample。请问这个是为什么？
: 多谢了。
|
y*****y
发帖数: 98 | 4 The dynamic is described by the latent process theta[1:T]. In other words,
theta is of interest. Usually the transition matrix G is unknown, whose
inference certainly involves theta. |
c****t
发帖数: 19049 | |
w********o
发帖数: 1621 | 6 我觉得2楼是正解。
楼主是做什么的，很好奇，为什么要用到这样的model？Kalman filter，我还以为只有
我这样EE出身的人才会用。这个版上的潜伏的高手真的很多啊。 |
F******n
发帖数: 160 | 7 你是EE做什么方向的？EE用到很多统计。
卡尔曼滤波，对于搞统计的，大多都一般化地叫做dynamic linear models (DLM)了。
搞统计的有这样一本书：
Mike West, Jeff Harrison (Springer Series in Statistics ) “Bayesian
Forecasting and Dynamic Models”
（电子书可以下载。如果需要，可以站内给我发信，我也有这本电子书）
第四章就是讲DLM，核心推导就是卡尔曼滤波。不过我很喜欢搞统计的DLM的方式，很一
般化，模型框架和概念的来龙去脉，以及和各种模型思想的关联说的很清晰。EE里就只
讲卡尔曼滤波，顶多就讲些非线性的扩展，有点“一叶障目”的感觉，看不到整体的思
想结构。
【在 w********o 的大作中提到】
: 我觉得2楼是正解。
: 楼主是做什么的，很好奇，为什么要用到这样的model？Kalman filter，我还以为只有
: 我这样EE出身的人才会用。这个版上的潜伏的高手真的很多啊。
|
q**j
发帖数: 10612 | 8 多谢你们讨论。可是还是没有人回答我的问题。简单说我的问题是：
在F,G已知，不在乎 state，只关心forecast的情况下，我可以用MLE的理论得到f(参数
|data）。这样就可以轻松forecast。基本上可以绕开MCMC。请问为什么大多数人还是
喜欢MCMC呢？
【在 F******n 的大作中提到】
: 你是EE做什么方向的？EE用到很多统计。
: 卡尔曼滤波，对于搞统计的，大多都一般化地叫做dynamic linear models (DLM)了。
: 搞统计的有这样一本书：
: Mike West, Jeff Harrison (Springer Series in Statistics ) “Bayesian
: Forecasting and Dynamic Models”
: （电子书可以下载。如果需要，可以站内给我发信，我也有这本电子书）
: 第四章就是讲DLM，核心推导就是卡尔曼滤波。不过我很喜欢搞统计的DLM的方式，很一
: 般化，模型框架和概念的来龙去脉，以及和各种模型思想的关联说的很清晰。EE里就只
: 讲卡尔曼滤波，顶多就讲些非线性的扩展，有点“一叶障目”的感觉，看不到整体的思
: 想结构。
|
F******n
发帖数: 160 | 9
没有技术细节的前提下，你简单的说，用最大释然估计得到f(v_t, w_t | data)。很难
判断你想要的答案到底是什么？
1. 你假定都是正太分布了吗？
2. 你假定正太噪声V_t, W_t和时间无关了吗？从你的最开始问题陈述：
y_t = F * theta_t + v_t
theta_t = G * theta_(t-1) + w_t
v，w都有时间下标，好像又不是这么假定的吧？
如果你两个都假定了，问题当然很trivial。
我想没人喜欢MCMC，只是因为必要。不过你这个“为啥用MCMC”和你原帖的问题，“把
theta加进来sample。请问这个是为什么？”，好像是两个独立的问题。也可能我没看
懂你的问题。
【在 q**j 的大作中提到】
: 多谢你们讨论。可是还是没有人回答我的问题。简单说我的问题是：
: 在F,G已知，不在乎 state，只关心forecast的情况下，我可以用MLE的理论得到f(参数
: |data）。这样就可以轻松forecast。基本上可以绕开MCMC。请问为什么大多数人还是
: 喜欢MCMC呢？
|
q**j
发帖数: 10612 | 10 两个假定都有。但是尽管在这么多假定的情况下大部分人还是用mcmc，这个就比较奇怪
了。
【在 F******n 的大作中提到】
:
: 没有技术细节的前提下，你简单的说，用最大释然估计得到f(v_t, w_t | data)。很难
: 判断你想要的答案到底是什么？
: 1. 你假定都是正太分布了吗？
: 2. 你假定正太噪声V_t, W_t和时间无关了吗？从你的最开始问题陈述：
: y_t = F * theta_t + v_t
: theta_t = G * theta_(t-1) + w_t
: v，w都有时间下标，好像又不是这么假定的吧？
: 如果你两个都假定了，问题当然很trivial。
: 我想没人喜欢MCMC，只是因为必要。不过你这个“为啥用MCMC”和你原帖的问题，“把
|
F******n
发帖数: 160 | 11 第一个假定是很多人用，但只要是正太，线性模型，正常情况没人用MCMC（莫非为了教学，模拟演示？）。你在那本书或者资料，文献里看到这么用？我很好奇。
第二个假定应该很少有人用。比如最简单的，我上面说的，标准的卡尔曼滤波就没有这个假定。
【在 q**j 的大作中提到】
: 两个假定都有。但是尽管在这么多假定的情况下大部分人还是用mcmc，这个就比较奇怪
: 了。
|
F******n
发帖数: 160 | 12 那些对West和Harrison的书感兴趣的，可以从这里下载：
http://www.4shared.com/document/QvVivFiY/Bayesian_Forecasting_a
【在 F******n 的大作中提到】
: 你是EE做什么方向的？EE用到很多统计。
: 卡尔曼滤波，对于搞统计的，大多都一般化地叫做dynamic linear models (DLM)了。
: 搞统计的有这样一本书：
: Mike West, Jeff Harrison (Springer Series in Statistics ) “Bayesian
: Forecasting and Dynamic Models”
: （电子书可以下载。如果需要，可以站内给我发信，我也有这本电子书）
: 第四章就是讲DLM，核心推导就是卡尔曼滤波。不过我很喜欢搞统计的DLM的方式，很一
: 般化，模型框架和概念的来龙去脉，以及和各种模型思想的关联说的很清晰。EE里就只
: 讲卡尔曼滤波，顶多就讲些非线性的扩展，有点“一叶障目”的感觉，看不到整体的思
: 想结构。
|
F******n
发帖数: 160 | 13 我真的不知道你想要问什么答案了。。。
这样吧，你把我上面给的West和Harrison的书里第四章看看吧，尤其你感兴趣的那个“
FORECAST DISTRIBUTIONS”（第4节）。全部结果解析可解的，哪有什么MCMC?
你的那个MLE的“简单”解法也贴出来吧，否则光说，谁也没法猜出是怎么回事。
【在 q**j 的大作中提到】
: 两个假定都有。但是尽管在这么多假定的情况下大部分人还是用mcmc，这个就比较奇怪
: 了。
|
