o******e
发帖数: 1001 | 1 上个周五开了一个讨论maximum likelihood estimation的帖子，达到很多大牛的指点
，非常感谢！
在那个帖子里，我可以还是没有把问题讲清楚，我重新开一帖子，把问题讲得更清楚一
些：
有一组数据Ａ（不是一列，是好多列），我的目标是分析两个不同的拟合模型，看哪个
更好。我用的两个模型可以表示为：
X=f(A,N(0,1))
Y=g(A,N(0,1))
也就是说X,Y的模型的参数都从数据A得到，但是它们的结构是不一样的。我用maximum
likelihood estimation去拟合X和Y的模型，发现Y的likelihood稍微大一些，也就是说
Y模型稍微好一些。
同样的，因为有这样的反函数：
N(0,1)=f^-1(A,x),这里x是用X模型预测到的参数值。
N(0,1)=g^-1(A,y)，这里y是用Y模型预测到的参数值。
我么可以把f^-1(A,x)和g^-1(A,y)拟合到标准正态分布，我也计算它们相对了N(0,1)的
likelihood的值，这时候却发现f^-1(A,x)的likelihood大一些，这是不是说明X的模型
好一些？
另外，以前的帖子里很多人提到了p-value,但是因为数据量大，两个模型都很难通过p-
test,p-value都是10^(-7)级的，这么小的p-value比较起来还有价值吗？
谢谢指点！ | n*****n
发帖数: 3123 | 2 如果不是nested model, 不能用likelihood ratio test | l*********s
发帖数: 5409 | 3 There must be something wrong in your calculation.Get a colleague to review
your code.
maximum
【在 o******e 的大作中提到】
: 上个周五开了一个讨论maximum likelihood estimation的帖子，达到很多大牛的指点
: ，非常感谢！
: 在那个帖子里，我可以还是没有把问题讲清楚，我重新开一帖子，把问题讲得更清楚一
: 些：
: 有一组数据Ａ（不是一列，是好多列），我的目标是分析两个不同的拟合模型，看哪个
: 更好。我用的两个模型可以表示为：
: X=f(A,N(0,1))
: Y=g(A,N(0,1))
: 也就是说X,Y的模型的参数都从数据A得到，但是它们的结构是不一样的。我用maximum
: likelihood estimation去拟合X和Y的模型，发现Y的likelihood稍微大一些，也就是说
| o******e
发帖数: 1001 | 4 我查了一下，确实是不能用的。
【在 n*****n 的大作中提到】
: 如果不是nested model, 不能用likelihood ratio test
| o******e
发帖数: 1001 | 5 那你觉得我的方法对吗？也就是用maximum likelihood的值去比较模型的优劣。
review
【在 l*********s 的大作中提到】
: There must be something wrong in your calculation.Get a colleague to review
: your code.
:
: maximum
| l*********s
发帖数: 5409 | 6 No. at least you should penalize number of parameters.
【在 o******e 的大作中提到】
: 那你觉得我的方法对吗？也就是用maximum likelihood的值去比较模型的优劣。
:
: review
| a***g
发帖数: 2761 | 7 你这样做的思路应该是比较不同模型之间 k-l divergence的思路吧。
虽然在书写形式上都是likelihood方式，但是divergence相当于模型间的距离。要不你
再查查这方面的资料，可能另有启发。
maximum
【在 o******e 的大作中提到】
: 上个周五开了一个讨论maximum likelihood estimation的帖子，达到很多大牛的指点
: ，非常感谢！
: 在那个帖子里，我可以还是没有把问题讲清楚，我重新开一帖子，把问题讲得更清楚一
: 些：
: 有一组数据Ａ（不是一列，是好多列），我的目标是分析两个不同的拟合模型，看哪个
: 更好。我用的两个模型可以表示为：
: X=f(A,N(0,1))
: Y=g(A,N(0,1))
: 也就是说X,Y的模型的参数都从数据A得到，但是它们的结构是不一样的。我用maximum
: likelihood estimation去拟合X和Y的模型，发现Y的likelihood稍微大一些，也就是说
| o******e
发帖数: 1001 | 8 差数只有差一个，X有三个，而Y只有２个。
【在 l*********s 的大作中提到】
: No. at least you should penalize number of parameters.
| o******e
发帖数: 1001 | 9 谢谢！
除了这个，你还能提供一些类似模型比较的key words吗？
【在 a***g 的大作中提到】
: 你这样做的思路应该是比较不同模型之间 k-l divergence的思路吧。
: 虽然在书写形式上都是likelihood方式，但是divergence相当于模型间的距离。要不你
: 再查查这方面的资料，可能另有启发。
:
: maximum
| z****g
发帖数: 1978 | | | | a***g
发帖数: 2761 | 11 应该aic用的k-l divergence, bic用的不是
不过我这里有几点不太明白的地方
这里拟合的地方是指把A怎么处理？A是给定的，那么X和Y是不是实现给定的值
我看的感觉是它们不是预先给定，可能是通过mle得到的一组参数的值。当然这个也不
是最重要的。
现在我主要有一个疑惑，通过看你的帖子不太明白。当然我的疑问也不一定合理，一起
探讨一下吧。
我就按我的理解来说，在最开始拟合的时候我们是不是可以把形式写成这样：X=f(A,F)
这里F为一个分布，你把n(0,1)写在右边，我的感觉就是假设正态假定成立，然后开始用
mle估计参数。也就是先假定F=N(0,1)。那么到底F是不是正态，只能说靠过去的经验或
者是蒙的。这里就有了一个要考虑的地方，X和Y两个模型是不是不受F的影响，或者说
是否受F的影响很小。如果F对f有影响，X更贴合数据，Y更迎合正态假设，那么完全可能
出现你说的这个情况：即使在正态假定成立的情况下，拟合的时候X仍然有比较大的似然，
在考虑反过来的时候，由于F也不一定就是正态，所以Y可能通过反函数相对N(0,1)得到更
大的似然。关键就在你通过反函数再次来做衡量，这里逻辑通不通，是个不能想当然的地方。
由于没具体看到问题，只能这么一说，于实际解决问题帮助不大。关键还是要你把逻辑
捋顺。 | o******e
发帖数: 1001 | 12 akoug,谢谢你那么长的回复!
这个问题具体是这样的,数据A包括好几列，a_1,a_2,a_3. 根据物理原因我们分别用
stochastic differential equations建立了两个模型X,Y,解这两个模型后，我们得到
的方程式有这样的关系：
X: a_3=e_x*a_1+f_x*a_2+g_x*N(0,1)
Y: a_3=e_y*a_1+f_y*a_1*a_2+g_y*N(0,1)
我们的目标是用数据A去拟合模型X和Y,求参数e_x,f_x,g_x,e_y,f_y,g_y，并且分析那
个模型更好。
你说的是有一定的道理，有这样的可能，X的likelihood值大，但是它的 (a_3-e_x*a_
1-f_x*a_2)/g_x的normality不好。在这种情况下，你觉得如何去评价模型的好于差？
F)
始用
【在 a***g 的大作中提到】
: 应该aic用的k-l divergence, bic用的不是
: 不过我这里有几点不太明白的地方
: 这里拟合的地方是指把A怎么处理？A是给定的，那么X和Y是不是实现给定的值
: 我看的感觉是它们不是预先给定，可能是通过mle得到的一组参数的值。当然这个也不
: 是最重要的。
: 现在我主要有一个疑惑，通过看你的帖子不太明白。当然我的疑问也不一定合理，一起
: 探讨一下吧。
: 我就按我的理解来说，在最开始拟合的时候我们是不是可以把形式写成这样：X=f(A,F)
: 这里F为一个分布，你把n(0,1)写在右边，我的感觉就是假设正态假定成立，然后开始用
: mle估计参数。也就是先假定F=N(0,1)。那么到底F是不是正态，只能说靠过去的经验或
| o******e
发帖数: 1001 | 13 谢谢回复，你的回复相当有启发性！
F)
始用
【在 a***g 的大作中提到】
: 应该aic用的k-l divergence, bic用的不是
: 不过我这里有几点不太明白的地方
: 这里拟合的地方是指把A怎么处理？A是给定的，那么X和Y是不是实现给定的值
: 我看的感觉是它们不是预先给定，可能是通过mle得到的一组参数的值。当然这个也不
: 是最重要的。
: 现在我主要有一个疑惑，通过看你的帖子不太明白。当然我的疑问也不一定合理，一起
: 探讨一下吧。
: 我就按我的理解来说，在最开始拟合的时候我们是不是可以把形式写成这样：X=f(A,F)
: 这里F为一个分布，你把n(0,1)写在右边，我的感觉就是假设正态假定成立，然后开始用
: mle估计参数。也就是先假定F=N(0,1)。那么到底F是不是正态，只能说靠过去的经验或
| o******e
发帖数: 1001 | 14 这种情况是可能发生的。
给定数据A=[a_1,a_2,a_3],假设X模型为：
X: a_3=e_x*a_1+f_x*a_2+g_x*N(0,1)
我们用maximum likelihood estimate 参数e_x,f_x,g_x时候是maximize:
1/(sqrt(2*PI)*g_x)*exp(-(a_3-e_x*a_1-f_x*a_2)^2/(2*g_x^2))
当我们得到e_x,f_x,g_x时候，我们有N(0,1)=(a_3-e_x*a_1-f_x*a_2)/g_x,我们把它和
N(0,1)比较求likelihood value是用这个式子的：
1/sqrt(2*PI)*exp(-(a_3-e_x*a_1-f_x*a_2)^2/(2*g_x^2))
就是说说少了g_x,这导致模型比较的时候它们的值不一致。
F)
始用
【在 a***g 的大作中提到】
: 应该aic用的k-l divergence, bic用的不是
: 不过我这里有几点不太明白的地方
: 这里拟合的地方是指把A怎么处理？A是给定的，那么X和Y是不是实现给定的值
: 我看的感觉是它们不是预先给定，可能是通过mle得到的一组参数的值。当然这个也不
: 是最重要的。
: 现在我主要有一个疑惑，通过看你的帖子不太明白。当然我的疑问也不一定合理，一起
: 探讨一下吧。
: 我就按我的理解来说，在最开始拟合的时候我们是不是可以把形式写成这样：X=f(A,F)
: 这里F为一个分布，你把n(0,1)写在右边，我的感觉就是假设正态假定成立，然后开始用
: mle估计参数。也就是先假定F=N(0,1)。那么到底F是不是正态，只能说靠过去的经验或
| a***g
发帖数: 2761 | 15 我有两个思路不知道可行不可行
第一个就是如果你们平时处理数据的时候就是习惯做正态假设，同时好像这种假设影响
也不大。你们为什么不把两个模型写在一起，先拟合一下全模型，再检验各项显著性。
这样就可能有所取舍。
第二个是你们也对假设正态比较不放心，这么用只是对余项还没有认识更深入。那么我
就是随嘴这么一说啊，可不可以试试混合模型，全是用正态也无所谓。这里有两点，第
一就是mle也是混合模型的基本手段，你又熟悉很好用起来。第二就是你的数据比较大
，就是混合模型的复杂度上去了也能支持。
一点闭门造车的建议，你就权当参考吧。
a_
【在 o******e 的大作中提到】
: akoug,谢谢你那么长的回复!
: 这个问题具体是这样的,数据A包括好几列，a_1,a_2,a_3. 根据物理原因我们分别用
: stochastic differential equations建立了两个模型X,Y,解这两个模型后，我们得到
: 的方程式有这样的关系：
: X: a_3=e_x*a_1+f_x*a_2+g_x*N(0,1)
: Y: a_3=e_y*a_1+f_y*a_1*a_2+g_y*N(0,1)
: 我们的目标是用数据A去拟合模型X和Y,求参数e_x,f_x,g_x,e_y,f_y,g_y，并且分析那
: 个模型更好。
: 你说的是有一定的道理，有这样的可能，X的likelihood值大，但是它的 (a_3-e_x*a_
: 1-f_x*a_2)/g_x的normality不好。在这种情况下，你觉得如何去评价模型的好于差？
| d******e
发帖数: 7844 | 16 比likelihood不是这么比的。
你可以用cross validation看一下predictive likeliood的大小。
maximum
【在 o******e 的大作中提到】
: 上个周五开了一个讨论maximum likelihood estimation的帖子，达到很多大牛的指点
: ，非常感谢！
: 在那个帖子里，我可以还是没有把问题讲清楚，我重新开一帖子，把问题讲得更清楚一
: 些：
: 有一组数据Ａ（不是一列，是好多列），我的目标是分析两个不同的拟合模型，看哪个
: 更好。我用的两个模型可以表示为：
: X=f(A,N(0,1))
: Y=g(A,N(0,1))
: 也就是说X,Y的模型的参数都从数据A得到，但是它们的结构是不一样的。我用maximum
: likelihood estimation去拟合X和Y的模型，发现Y的likelihood稍微大一些，也就是说
|
|
