w*******e
发帖数: 666 | 1 我目前在做有没有一个marker对某病的判别有没有差别的小project。原来的model（包
含age BMI ，family history etc）做出来AUC 0.842.在原来的model里加了这个
marker之后，AUC 反而降低了编程0.838.我一直觉得加了一个变量后，AUC不管增加得
多少肯定是增加。请问有可能会减少吗？ |
Y******Y
发帖数: 8753 | 2 auc减少了有可能是因为你增加的那个biomarker对某些subjects有missing values,所以
你的new models实际用的数据小了，虽然多了一个covariate.
查查看是不是这样
【在 w*******e 的大作中提到】
: 我目前在做有没有一个marker对某病的判别有没有差别的小project。原来的model（包
: 含age BMI ，family history etc）做出来AUC 0.842.在原来的model里加了这个
: marker之后，AUC 反而降低了编程0.838.我一直觉得加了一个变量后，AUC不管增加得
: 多少肯定是增加。请问有可能会减少吗？
|
B****n
发帖数: 11290 | 3 應該不是一定增加
AUC是表示隨機選一個人 正確判別他有沒有病的機率
比方說你用logistic regression來作分析 機率大於0.5屬於某一group
試想 如果你的model只和其中少數幾個因子有關 你加了一堆在你的模型 那肯定會影響
你模型裡參數估計的準確性 進而會降低你判別的準確性 只是說只多加一些很少數的因
子對估計影響通常很小 因此你看到的0.842和0.838差不多也不足為奇 反之 如果某一
重要的因子不在Model裡 那可能對判別率就會有很大的影響
【在 w*******e 的大作中提到】
: 我目前在做有没有一个marker对某病的判别有没有差别的小project。原来的model（包
: 含age BMI ，family history etc）做出来AUC 0.842.在原来的model里加了这个
: marker之后，AUC 反而降低了编程0.838.我一直觉得加了一个变量后，AUC不管增加得
: 多少肯定是增加。请问有可能会减少吗？
|
A*******s
发帖数: 3942 | 4 ranking loss 不一定等于 likelihood/entropy loss
你加多一个变量，likelihood必然是增加的
但是AUC就不一定了。
【在 w*******e 的大作中提到】
: 我目前在做有没有一个marker对某病的判别有没有差别的小project。原来的model（包
: 含age BMI ，family history etc）做出来AUC 0.842.在原来的model里加了这个
: marker之后，AUC 反而降低了编程0.838.我一直觉得加了一个变量后，AUC不管增加得
: 多少肯定是增加。请问有可能会减少吗？
|
A*******s
发帖数: 3942 | 5 AUC比较好的解释应该是这样的吧
随机选一对positive/negative的组合，
模型把positive排在negative前面的概率
你的解释应该是misclassification rate吧
【在 B****n 的大作中提到】
: 應該不是一定增加
: AUC是表示隨機選一個人 正確判別他有沒有病的機率
: 比方說你用logistic regression來作分析 機率大於0.5屬於某一group
: 試想 如果你的model只和其中少數幾個因子有關 你加了一堆在你的模型 那肯定會影響
: 你模型裡參數估計的準確性 進而會降低你判別的準確性 只是說只多加一些很少數的因
: 子對估計影響通常很小 因此你看到的0.842和0.838差不多也不足為奇 反之 如果某一
: 重要的因子不在Model裡 那可能對判別率就會有很大的影響
|
n*****n
发帖数: 3123 | 6 精算娃好cute啊
【在 A*******s 的大作中提到】
: AUC比较好的解释应该是这样的吧
: 随机选一对positive/negative的组合，
: 模型把positive排在negative前面的概率
: 你的解释应该是misclassification rate吧
|
A*******s
发帖数: 3942 | 7 长得像我，所以得强收敛于帅啊
【在 n*****n 的大作中提到】
: 精算娃好cute啊
|
M*P
发帖数: 6456 | 8 这点差别没关系吧？
【在 w*******e 的大作中提到】
: 我目前在做有没有一个marker对某病的判别有没有差别的小project。原来的model（包
: 含age BMI ，family history etc）做出来AUC 0.842.在原来的model里加了这个
: marker之后，AUC 反而降低了编程0.838.我一直觉得加了一个变量后，AUC不管增加得
: 多少肯定是增加。请问有可能会减少吗？
|
n*****n
发帖数: 3123 | 9 BSO啊
【在 A*******s 的大作中提到】
: 长得像我，所以得强收敛于帅啊
|
B****n
发帖数: 11290 | 10 如果這樣的話 就不會追求AUC最大的診斷方式了
【在 A*******s 的大作中提到】
: AUC比较好的解释应该是这样的吧
: 随机选一对positive/negative的组合，
: 模型把positive排在negative前面的概率
: 你的解释应该是misclassification rate吧
|
|
|
A*******s
发帖数: 3942 | 11 AUC衡量的就是模型的rank ordering的能力
AUC最大的模型，
不意味着会给出关于患病风险的最准确的posterior prob estimates
但是它一般会给出按照风险从高到低排列最准确的一个序列
用misclassification rate，
还是用AUC，
或者用sensitivity, specificity
都得看实际需要吧
【在 B****n 的大作中提到】
: 如果這樣的話 就不會追求AUC最大的診斷方式了
|
d******e
发帖数: 7844 | 12 weighted error，就是weighted miclassification rate是最常用的。
和F-beta score一个作用。
【在 A*******s 的大作中提到】
: AUC衡量的就是模型的rank ordering的能力
: AUC最大的模型，
: 不意味着会给出关于患病风险的最准确的posterior prob estimates
: 但是它一般会给出按照风险从高到低排列最准确的一个序列
: 用misclassification rate，
: 还是用AUC，
: 或者用sensitivity, specificity
: 都得看实际需要吧
|
B****n
发帖数: 11290 | 13 仔細的重讀了一下 你說的是才是對的 謝謝
【在 A*******s 的大作中提到】
: AUC衡量的就是模型的rank ordering的能力
: AUC最大的模型，
: 不意味着会给出关于患病风险的最准确的posterior prob estimates
: 但是它一般会给出按照风险从高到低排列最准确的一个序列
: 用misclassification rate，
: 还是用AUC，
: 或者用sensitivity, specificity
: 都得看实际需要吧
|
l*********s
发帖数: 5409 | 14 zan! :-)
【在 A*******s 的大作中提到】
: 长得像我，所以得强收敛于帅啊
|
w*******e
发帖数: 666 | 15 谢谢大家的讨论！
【在 w*******e 的大作中提到】
: 我目前在做有没有一个marker对某病的判别有没有差别的小project。原来的model（包
: 含age BMI ，family history etc）做出来AUC 0.842.在原来的model里加了这个
: marker之后，AUC 反而降低了编程0.838.我一直觉得加了一个变量后，AUC不管增加得
: 多少肯定是增加。请问有可能会减少吗？
|
