c****3
发帖数: 10787 | 1 http://www.zhihu.com/question/21049968/answer/17012095
这个说法的来源，我猜可能是这篇时代周刊的报道 A Researcher’s Claim: 90% of
Medical Research Is Wrong。
关于这个问题，推荐同人于野老师的这篇博文 科学新闻没告诉你的那些事儿 1 «
学而时嘻之。
摘录关键的几段如下：
说这句话的人叫 John P.A. Ioannidis，他去年刚刚被任命为斯坦福大学预防医学研究
中心主任。Ioannidis 说，“ignore them all”. 他攻击的不仅仅是营养学，而是整
个医学研究。2005年，Ioannidis 发表两篇论文，证明大部分医学研究都是错的。这两
篇论文在医学界被引用好几百次，但是没有人说他这个看似无比偏激的结论是错的。甚
至没人表示惊讶。所有搞医学研究的科学家都知道这个秘密：医学研究根本不靠谱。
科学新闻常常教育我们要用现代医学的常识去反驳民间偏方，用科学家的论文去反驳普
通人的常识，再用欧美科学家的论文去反驳中国科学家的论文。然而现在 Ioannidis
说欧美科学家的论文其实也不可靠。而且错误率是90%？民间偏方没准还比这个好点。
所以以上这几篇报道大概也有点标题党，我们必须看看 Ioannidis 到底说了什么。
光玩数学当然不行，批评现实得有真实证据。这正是Ioannidis另一篇论文干的事情，
发表在权威期刊 JAMA上。没有人能把所有医学论文都研究一遍，所以他的做法相当具
有戏剧性：他只看1990到2003年间发表在顶级临床医学期刊上的顶级论文，入选标准是
被引用超过1000次。符合这个标准的论文一共有49篇，其中45篇声称发现了某种有效的
药物或者疗法。
我们都知道科学结果必须都是可重复的，我们不知道的是有多少科学结果真的被人重复
过。这45篇论文虽然都被引用了千次以上，其中只有34篇被重复检验过。
而后人检验的结果是其中7篇的结论错误。比如有一篇论文说维生素E对降低男子冠心病
风险有好处，有一篇论文说维生素E对降低女子冠心病风险有好处，而后来的大规模随
机实验则证明维生素E对降低冠心病风险根本没好处。另有7篇论文被发现是夸大了有效
性。也就是说34篇经过检验的论文中的14篇（41%），被发现结论有问题。这45篇最权
威的论文中只有20篇接受了并抗过了时间的考验。
顶级论文尚且如此，一般论文又能怎么样呢？真有90%都不可靠么？我从未发现
Ioannidis 说过“90%的医学研究都错了”这句话，时代周刊的报道的确是标题党。
Ioannidis 说的不是90%，而是432分之431。没有人能彻查所有医学论文，所以
Ioannidis 的做法是选择一个热门领域，彻查这个领域内所有的论文。这个领域是研究
男女患各种疾病的风险不同，是不是因为基因的影响。在2007年 JAMA 的一篇论文中，
Ioannidis 与合作者找到这个领域的所有77篇论文，然后逐篇分析这些论文处理数据的
方法是否足够严谨。这些论文一共提出了432个论断，其中只有60个论断可以称得上是
方法严谨。而这60个拿的出手的论断中，曾经被其它研究至少重复验证了两次的，只有
一个。
如果我们对正确科学论断的要求是方法严谨，结果至少经过两次检验，那么这个领域的
合格率只有1/432。如果我们放宽要求，只要一篇论文不被证明是错的，就算它是好论
文，那么发表在最权威期刊上的被引用次数最多的医学论文中，有7/45是坏论文。
这个事情，其实说白了，大众对什么是科学、什么是科研有着很深的误解。科学并不是
神圣的，也不是永远正确的，更不是灵丹妙药。科学家都是人，都会犯错误，科学的发
展就是试错的过程，牛顿、爱因斯坦的理论等等，现在看来都有着各种错误。总体来说
，科学的发展需要大量的错误和不靠谱作为前提，说是铺路石也好，说是炮灰也好，这
些都是必不可少的。
或者，也可以从另一方面理解。世界顶级名校出的成果、参与者都是博士或者在读博士
生、砸了这么多钱、经过严格的同行评议、发表在柳叶刀或者新英格兰或者CNS上的这
些结论，尚且如此不靠谱。反观张悟本之流、微博大V们的那些言之凿凿的结论和说法
，你仔细想想，有没有相信的价值？
借用一下同人于野老师的结论：
把学术论文的结论推广到真实世界的真理，有时候是非常危险的事情。因为不理解科学
研究的思维方式，导致大多数人对科学有两个重大误解：第一，认为科学研究绝对真理
；第二，认为每一项科研都是在生产我们日常决策的答案。真实的科学研究其实一个充
满曲折，甚至有时候错进错出的过程。
更重要的是，科学的野心其实比公众设想的小。而恰恰是因为这个原因，科学才有这么
强大的力量。很多论文不严谨，甚至很多都是错的，这并不表明科学中没有正确答案，
它只是表明得到和判断正确答案并不简单。
补充：看了大家的评论和回答，再补充几句。
我们讨论的是“靠谱”与否，而不是“正确”与否。不靠谱的东西完全有可能是正确的
。借用《醉汉的脚步》一书中的一个例子：
有人靠一张尾号为48的彩票中了西班牙全国大乐透，他兴奋的谈论自己得奖的秘诀，“
我连着7个晚上都梦到了数字7，而7乘以7等于48”。
在这个例子里，结论是“48会中大奖”，无疑这个结论是正确的。但是这个结论“靠谱
”吗？
而反过来，靠谱的也不一定都是正确的。比如这个例子：
某农场主每天七点都去喂鸡，第一天如此，第二天如此，一直都是如此。于是，一位鸡
科学家说，我通过大量的观察和重复验证，得出了结论：我们每天七点有饭吃，所以明
天七点肯定也是如此。结果第二天七点，农场主来了，把鸡们都拉出来宰杀了……
这个例子里的结论是靠谱的，但是很可惜，也很残忍，这个结论不是正确的。
我们不能说，因为一个结论是正确的，所以不管它怎么来的，不管它的来源是不是靠谱
，我们都认为它是科学的。如果只追求正确的结果，而不关心过程和方法的科学性的话
，那科学和中医、占星、占卜都没有什么区别了。某些领域的某些科学方法的可靠概率
可能还比不过占卜呢，但是，它们有着本质的区别。
科研论文的意思是，论文的作者认为这个结论是有道理的，至于读者怎么认为，那需要
读者自己来判断。读者不可能自己做实验重复，只能根据其它的一些情况来判断，类似
于你判断某个产品的广告是不是可信，比如是不是其它科学家也这么认为、这个作者是
不是有名、这个作者还有其它什么成就等等。通常，大家都认为，国内期刊不能信，国
际一般的期刊凑合，国际顶级期刊比较靠谱。现在，Ioannidis和其他人告诉大家，咱
们都想错了，不光一般的期刊不行，国际顶级的也不太靠谱。仅仅是这个区别而已。 |
d*******3
发帖数: 8598 | 2 这些东西，我2008年前就在BBS上面嚷嚷过了，小网民灌水一个
呵呵
现在的生物科研啊，哎，说得极端些
需要好莱坞编剧+高中生操作实验就可以了 |
c****3
发帖数: 10787 | 3 所以什么转基因，中医之类的讨论，也毫无意义。
学科方法学都有致命问题，实验结果如此不可靠，也没有资格指责别人，或者觉着自己
结论可靠
【在 d*******3 的大作中提到】
: 这些东西，我2008年前就在BBS上面嚷嚷过了，小网民灌水一个
: 呵呵
: 现在的生物科研啊，哎，说得极端些
: 需要好莱坞编剧+高中生操作实验就可以了
|
w*********e
发帖数: 6093 | |
T*****u
发帖数: 7103 | 5 有兴趣的可以看看plos one上面的文章，2005年的，免费，里面还有几个定理，挺有意
思的。他充分结露了所谓科学工作者的本质。
还有另外一篇文章，题目好像叫什么is t test doing its job。 |
k*****k
发帖数: 500 | |
d*******3
发帖数: 8598 | 7 是的。
需要大量数据才可信，即使这样也只是个百分比的胜率，
何况，换个条件，又变了，
很无聊的学科，天天在make story
【在 c****3 的大作中提到】
: 所以什么转基因，中医之类的讨论，也毫无意义。
: 学科方法学都有致命问题，实验结果如此不可靠，也没有资格指责别人，或者觉着自己
: 结论可靠
|
g***j
发帖数: 40861 | 8 老美的“ tell a story"这个写论文搞科研的导向对造假吹牛逼推波助澜
我看30年前的文章有一说一比较好 |
g***j
发帖数: 40861 | 9 tell a story
现在都变成
make a story
了
【在 g***j 的大作中提到】
: 老美的“ tell a story"这个写论文搞科研的导向对造假吹牛逼推波助澜
: 我看30年前的文章有一说一比较好
|
r***e
发帖数: 2000 | 10 大约10年前NIH做过一个匿名survey，所有PI都参加，
其中有70的承认数据做过假。当时我觉得老美真实诚，
估计是学生物的不懂计算机，匿名技术哪里有那么可靠？ |
g***j
发帖数: 40861 | 11 哈哈
现在顶多10%承认
【在 r***e 的大作中提到】
: 大约10年前NIH做过一个匿名survey，所有PI都参加，
: 其中有70的承认数据做过假。当时我觉得老美真实诚，
: 估计是学生物的不懂计算机，匿名技术哪里有那么可靠？
|
