c*******e
发帖数: 150 | 1 想请教一下版上的各位大牛们，如果
Linear Regression中Noise Term是一个AR(1) process，通常都有什么成熟的算法做
MLE 或者其它方法 fit ？
具体的说，模型可以表示为 Y(t) = X(t) \dot \beta + E(t),
X(t) 和 \beta 都是 K-维的向量，其它都是标量。
t = 1, 2, 3, ..., T 是手头的 sample，
但是和经典的 Linear Regression 不同，E(t) 不是 i.i.d. 的高斯白噪音，可以假定
E(t) 服从一下 model:
E(t) = \rho * E(t-1) + \sigma * Z(t)
\rho 和 \sigma 是 unknown parameter，Z(t) 可以认为是高斯白噪音。
所以全部的 parameters 包括 向量 \beta 和标量 \sigma, \rho
最好还是 maximum-likelihood 的方法，这样我可以保留后面做 log-Likelihood
Ratio
Test 的可行性，以便于 做 model comparison/selection
简单地做了一下 google 和 literature survey，也许是我搜寻用的关键字不对，没有找
到什么有用的材料 -_-
谢谢各位好心的大侠指点啦！ | v*******e
发帖数: 11604 | | s*********h
发帖数: 6288 | | d******e
发帖数: 7844 | 4 这中经典的模型，google两下不就出来了。
1. Generalized Least Square
2. Newey–West estimator
先看这两个。
【在 c*******e 的大作中提到】
: 想请教一下版上的各位大牛们，如果
: Linear Regression中Noise Term是一个AR(1) process，通常都有什么成熟的算法做
: MLE 或者其它方法 fit ？
: 具体的说，模型可以表示为 Y(t) = X(t) \dot \beta + E(t),
: X(t) 和 \beta 都是 K-维的向量，其它都是标量。
: t = 1, 2, 3, ..., T 是手头的 sample，
: 但是和经典的 Linear Regression 不同，E(t) 不是 i.i.d. 的高斯白噪音，可以假定
: E(t) 服从一下 model:
: E(t) = \rho * E(t-1) + \sigma * Z(t)
: \rho 和 \sigma 是 unknown parameter，Z(t) 可以认为是高斯白噪音。
| c*******e
发帖数: 150 | 5 嗯，如果知道噪音序列的协方差矩阵 大Sigma (which is a gigantic T-by-T matrix)，
当然可以很方便地做 GLS。但是实际中 那个 大Sigma 矩阵是不知道的，即使假设了
大Sigma 矩阵具有一定的结构，比如原贴中假定的 AR(1) 结构，最后还是需要
estimate 参数 rho 并同时需要估计白化更新过程 Z(t) 的真实方差 小sigma，也就是
我在原贴中提出的核心问题。简单地谈论 GLS 并不能直接解决这个核心问题。
第二你提到的 Newey-West estimator 本质上是用于估计 the OLS-beta 的
standard error的，而并不是对于原贴中的模型对应的 likelihood function 进行最大
化，并得到相应的 (beta, rho, 小sigma) 的MLE估计，所以还是没有办法帮助我们最终
做model comparison/selection 时进行可靠的 LLR Test。
假定
【在 d******e 的大作中提到】
: 这中经典的模型，google两下不就出来了。
: 1. Generalized Least Square
: 2. Newey–West estimator
: 先看这两个。
| c*******e
发帖数: 150 | 6 DataSciences 版有一位朋友指出在 rho 给定情况下优化 beta 很简单（分别滤波X(t)
和Y(t) 序列，对应的噪音项就是白化了的\sigma * Z(t) 序列，i.i.d.了）；而在
beta 给定的情况下优化 rho 也很简单，所以我们可以 iteratively 地数值解出一个
fixed point [rho_star, beta_star]。（在 rho 和 beta 都给定的情况下解出
小sigma 的 MLE很容易 ）
从操作性上来看这样的算法非常地理想，实际编程试验后发现收敛也很快很稳定。最后
还是有点小好奇，有没有什么理论的结论保证这样的 fixed-point
[rho_star, beta_star] 也是globally maximizes the likelihood function 呢？不好
意思对于这个“MLE”的 optimality 比较在乎，因为下一步需要基于 MLE 的性质做
LLR test 等等，所以如果全局最优性有理论的保证基础可以很坚实一些，觉觉睡得更香
一些 *^_^*
有找
【在 c*******e 的大作中提到】
: 想请教一下版上的各位大牛们，如果
: Linear Regression中Noise Term是一个AR(1) process，通常都有什么成熟的算法做
: MLE 或者其它方法 fit ？
: 具体的说，模型可以表示为 Y(t) = X(t) \dot \beta + E(t),
: X(t) 和 \beta 都是 K-维的向量，其它都是标量。
: t = 1, 2, 3, ..., T 是手头的 sample，
: 但是和经典的 Linear Regression 不同，E(t) 不是 i.i.d. 的高斯白噪音，可以假定
: E(t) 服从一下 model:
: E(t) = \rho * E(t-1) + \sigma * Z(t)
: \rho 和 \sigma 是 unknown parameter，Z(t) 可以认为是高斯白噪音。
| p***r
发帖数: 920 | 7 Let me throw a hay into the stack. Using GEE(Liang and Zeger 1986)? |
|
