o******e 发帖数: 1001 | 1 用Maximum Likelihood estimation预测样本数据的时候(都是正态分布),如果有两
组不同的数据,怎么才能知道那组fit的比较好呢?Maximum Likelihood estimation有
没有比较常用的goodness of fitting的方法?是用deviance吗?谢谢! |
t****r 发帖数: 702 | 2 likelihood ratio test
【在 o******e 的大作中提到】 : 用Maximum Likelihood estimation预测样本数据的时候(都是正态分布),如果有两 : 组不同的数据,怎么才能知道那组fit的比较好呢?Maximum Likelihood estimation有 : 没有比较常用的goodness of fitting的方法?是用deviance吗?谢谢!
|
o******e 发帖数: 1001 | 3 谢谢!
我看了一下,还不能确定能不能解决我的问题。我把问题再详细一点。
有两组数据数据,X,Y,理论上都被认为是standard normal distribution,但是因为
数据量很大,两组数据都很难通过normality test,也就是两组都不是严格的正态分布
。我现在是找一个measure能确定究竟哪组数据更加接近standard normal
distribution。
【在 t****r 的大作中提到】 : likelihood ratio test
|
l*********s 发帖数: 5409 | 4 fit your model, whichever yields big R2/smaller AIC is the data set to go
with.
【在 o******e 的大作中提到】 : 谢谢! : 我看了一下,还不能确定能不能解决我的问题。我把问题再详细一点。 : 有两组数据数据,X,Y,理论上都被认为是standard normal distribution,但是因为 : 数据量很大,两组数据都很难通过normality test,也就是两组都不是严格的正态分布 : 。我现在是找一个measure能确定究竟哪组数据更加接近standard normal : distribution。
|
A*******s 发帖数: 3942 | 5 don't think it's about models' goodness of fit problem. GOF compare
different models' performance on a SAME sample, and then we make inference
based on the population represented by that sample.
For your problem, why not compare P values of normality tests?
【在 o******e 的大作中提到】 : 谢谢! : 我看了一下,还不能确定能不能解决我的问题。我把问题再详细一点。 : 有两组数据数据,X,Y,理论上都被认为是standard normal distribution,但是因为 : 数据量很大,两组数据都很难通过normality test,也就是两组都不是严格的正态分布 : 。我现在是找一个measure能确定究竟哪组数据更加接近standard normal : distribution。
|
w******g 发帖数: 313 | 6 MLE是用于在假设服从某个分布的情形下估计该分布的参数的吧?
【在 o******e 的大作中提到】 : 谢谢! : 我看了一下,还不能确定能不能解决我的问题。我把问题再详细一点。 : 有两组数据数据,X,Y,理论上都被认为是standard normal distribution,但是因为 : 数据量很大,两组数据都很难通过normality test,也就是两组都不是严格的正态分布 : 。我现在是找一个measure能确定究竟哪组数据更加接近standard normal : distribution。
|
o******e 发帖数: 1001 | 7 Thanks.It really helps.
【在 l*********s 的大作中提到】 : fit your model, whichever yields big R2/smaller AIC is the data set to go : with.
|
o******e 发帖数: 1001 | 8 你这样说似乎也有道理。
可能直接比较它们的likelihood value 就可以了。
【在 A*******s 的大作中提到】 : don't think it's about models' goodness of fit problem. GOF compare : different models' performance on a SAME sample, and then we make inference : based on the population represented by that sample. : For your problem, why not compare P values of normality tests?
|
D******n 发帖数: 2836 | 9 of course.
Your post title is misleading, should be sth like "problem about normality
test".
【在 o******e 的大作中提到】 : 你这样说似乎也有道理。 : 可能直接比较它们的likelihood value 就可以了。
|
g**********t 发帖数: 475 | 10 我觉得不能直接比较p values。如果一个样本的样本容量远远大于另一个,一般来说其
p value比较小。
在 Actuaries (striving) 的大作中提到: 】 |
|
|
T*******I 发帖数: 5138 | 11 如果你的数据量在很大的情况下仍然不服从正态分布,为何非要取正态性假设?你宁把
呀。
【在 o******e 的大作中提到】 : 谢谢! : 我看了一下,还不能确定能不能解决我的问题。我把问题再详细一点。 : 有两组数据数据,X,Y,理论上都被认为是standard normal distribution,但是因为 : 数据量很大,两组数据都很难通过normality test,也就是两组都不是严格的正态分布 : 。我现在是找一个measure能确定究竟哪组数据更加接近standard normal : distribution。
|
a******n 发帖数: 11246 | 12 that's a good point...
inference
【在 g**********t 的大作中提到】 : 我觉得不能直接比较p values。如果一个样本的样本容量远远大于另一个,一般来说其 : p value比较小。 : 在 Actuaries (striving) 的大作中提到: 】
|
A*******s 发帖数: 3942 | 13 u r right. KS statistic should be enough
【在 g**********t 的大作中提到】 : 我觉得不能直接比较p values。如果一个样本的样本容量远远大于另一个,一般来说其 : p value比较小。 : 在 Actuaries (striving) 的大作中提到: 】
|
l*********s 发帖数: 5409 | 14 Yeap,good catch
【在 g**********t 的大作中提到】 : 我觉得不能直接比较p values。如果一个样本的样本容量远远大于另一个,一般来说其 : p value比较小。 : 在 Actuaries (striving) 的大作中提到: 】
|
k*******e 发帖数: 8 | 15 inflate one sample using bootstrap
compare the p-value |
r*****y 发帖数: 199 | 16 What is defined as "better"? To me, a simular idea would be, do you prefer a
unbiased estimator or a minimal variance estimator? |
o******e 发帖数: 1001 | 17 谢谢!
我觉得在工程实际中,如果数据量比较大,比如几万,几十万,那数据不服从正态分布
是很自然的。从逻辑上讲,正态分布可以从两项分布里推出来,而两项分布假定任意两
次的trials是互相独立的;但是在工程实际或社会科学里往往有累计效应,比如一个千
万富翁比乞丐更容易再赚一块钱,这种累计导致用正态分布去拟合的时候,数据会有很
大的fat tails.
我手头作的东西很多人测试过,很多人都是人为best fitted by normal distribution
.如果不用这个分布,另外的分布更差,也就难以作理论计算了。
【在 T*******I 的大作中提到】 : 如果你的数据量在很大的情况下仍然不服从正态分布,为何非要取正态性假设?你宁把 : 呀。
|