o******e
发帖数: 1001 | 1 前面两个帖子把问题搞得越来越复杂，我现在想想了，这个我问题可以简单一点描述。
假定一列数据X,如果假定为正态分布N(mu, sigma^2),我们可以直接用maximum
likelihood estimation预测。
第二种方法是这样的。因为X=N(mu,simga^2)=mu+sigma*N(0,1),也就是说(X-mu)/sigma
应该符合标准正态分布，我们也可以用maximum likelihood estimation预测参数。
但是这两种预测的参数值是不一样的，应该选择哪种方法？我倾向第一种，但是不知道
理论上为什么第二种不行。谢谢！ |
l******n
发帖数: 9344 | 2 should be the same.
sigma
【在 o******e 的大作中提到】
: 前面两个帖子把问题搞得越来越复杂，我现在想想了，这个我问题可以简单一点描述。
: 假定一列数据X,如果假定为正态分布N(mu, sigma^2),我们可以直接用maximum
: likelihood estimation预测。
: 第二种方法是这样的。因为X=N(mu,simga^2)=mu+sigma*N(0,1),也就是说(X-mu)/sigma
: 应该符合标准正态分布，我们也可以用maximum likelihood estimation预测参数。
: 但是这两种预测的参数值是不一样的，应该选择哪种方法？我倾向第一种，但是不知道
: 理论上为什么第二种不行。谢谢！
|
o******e
发帖数: 1001 | 3 不一样的。
第一种是maximize:
\sum 1/(sqrt(2*PI)*sigma)*exp(-(X-mu)^2/(2*sigma^2))
而第二种是maximize
\sum 1/(sqrt(2*PI))*exp(-(X-mu)^2/(2*sigma^2))
少了*sigma.
【在 l******n 的大作中提到】
: should be the same.
:
: sigma
|
z****g
发帖数: 1978 | 4 ...做变换以后density function可以直接代入么...开眼了...补数学去把 |
o******e
发帖数: 1001 | 5 你的意思是说第二种方法是不能用的，我直觉也是这样的，但是从理论上讲我不知道。
另外，即使第二种方法不能用来拟合参数，但是我想这个残值在多少程度上符合服从N(
0,1)也能提供一些有用的信息。当然残值的mean 和variance 应该都是0,1，但是另外
的moments可能就不一定相同了。所以其实这个问题也是相当于如何利用残值验证预测
的问题了。
【在 z****g 的大作中提到】
: ...做变换以后density function可以直接代入么...开眼了...补数学去把
|
l******n
发帖数: 9344 | 6 微积分不及格 ．．．
结果肯定是一样的
【在 o******e 的大作中提到】
: 不一样的。
: 第一种是maximize:
: \sum 1/(sqrt(2*PI)*sigma)*exp(-(X-mu)^2/(2*sigma^2))
: 而第二种是maximize
: \sum 1/(sqrt(2*PI))*exp(-(X-mu)^2/(2*sigma^2))
: 少了*sigma.
|
l*********s
发帖数: 5409 | 7 the second form the normal equation only attains 0 when sigma is infinite.
【在 o******e 的大作中提到】
: 不一样的。
: 第一种是maximize:
: \sum 1/(sqrt(2*PI)*sigma)*exp(-(X-mu)^2/(2*sigma^2))
: 而第二种是maximize
: \sum 1/(sqrt(2*PI))*exp(-(X-mu)^2/(2*sigma^2))
: 少了*sigma.
|
o******e
发帖数: 1001 | 8 脑子短路了！正确的应该是什么样的？
【在 l******n 的大作中提到】
: 微积分不及格 ．．．
: 结果肯定是一样的
|
o******e
发帖数: 1001 | 9 这是对的，但是我还是不知道我错在哪里？
【在 l*********s 的大作中提到】
: the second form the normal equation only attains 0 when sigma is infinite.
|
l*********s
发帖数: 5409 | 10 see 4th floor.
【在 o******e 的大作中提到】
: 这是对的，但是我还是不知道我错在哪里？
|
z****g
发帖数: 1978 | 11 你MLE还没入门
MLE的本质是最大熵，大样本时log-likelihood function是逼近分布的熵的，这个也是
真实世界里的终极规律。所以虽然一般来说log-likelihood function直接用的是density
function，但是这个是连续变量的情况。一般情况下应该是distribution function的微分，所以
你不能直接把变换过以后的数值带到standard normal distribution的density里
你那个残差的概念，只不过是入门。
统计两大估计方法：MLE类和Momentum类，第一类是直接基于最大熵的，第二类是基于
分布的Momentum Generating function的Taylor逼近。
N(
【在 o******e 的大作中提到】
: 你的意思是说第二种方法是不能用的，我直觉也是这样的，但是从理论上讲我不知道。
: 另外，即使第二种方法不能用来拟合参数，但是我想这个残值在多少程度上符合服从N(
: 0,1)也能提供一些有用的信息。当然残值的mean 和variance 应该都是0,1，但是另外
: 的moments可能就不一定相同了。所以其实这个问题也是相当于如何利用残值验证预测
: 的问题了。
|
o******e
发帖数: 1001 | 12 谢谢指教！受教！我再看看一些资料。
density
的微分，所以
【在 z****g 的大作中提到】
: 你MLE还没入门
: MLE的本质是最大熵，大样本时log-likelihood function是逼近分布的熵的，这个也是
: 真实世界里的终极规律。所以虽然一般来说log-likelihood function直接用的是density
: function，但是这个是连续变量的情况。一般情况下应该是distribution function的微分，所以
: 你不能直接把变换过以后的数值带到standard normal distribution的density里
: 你那个残差的概念，只不过是入门。
: 统计两大估计方法：MLE类和Momentum类，第一类是直接基于最大熵的，第二类是基于
: 分布的Momentum Generating function的Taylor逼近。
:
: N(
|
a***g
发帖数: 2761 | 13 他们说的很对，你总是想做逆向的变换，这个思路真是挺不习惯 |
