p*u
发帖数: 2454 | 1 【 以下文字转载自 JobHunting 讨论区 】
发信人: joejoejoe88 (joejoejoe88), 信区: JobHunting
标 题: 在中文媒体传疯了， Stanford 算法女神
发信站: BBS 未名空间站 (Thu Feb 28 14:09:07 2019, 美东)
http://www.heijing.co/almosthuman2014/2019022813010089707
出身清华姚班，斯坦福博士毕业，她的毕业论文成了「爆款」
很少有人的博士论文能够成为「爆款文章」，但陈丹琦做到了。这位近日从斯坦福毕业
的计算机科学博士引发了人们的广泛关注。据斯坦福大学图书馆介绍，她长达 156 页
的毕业论文《Neural Reading Comprehension and Beyond》上传仅四天就获得了上千
次的阅读量，成为了斯坦福大学近十年来最热门的毕业论文之一。
斯坦福大学还因此对陈丹琦进行了一次简单采访。
陈丹琦激动人心的研究迅速在社交网络和其他专注机器学习的新闻网站上传播。她的指
导老师——斯坦福 AI 实验室负责人、人工智能领域著名学者、斯坦福大学语言学和计
算机科学教授克里斯托弗·曼宁（Christopher Manning）在采访中表示：「陈丹琦是
使用神经网络方法解决自然语言理解问题方面的先驱。她简单、干净、高成功率的模型
吸引了众人的目光……她的这篇毕业论文主要研究神经网络阅读理解和问答，这些新兴
技术正在带来更好的信息访问方式——它可以让计算机系统可以真正回答你的实际问题
，而不是简单地返回文档搜索结果。」
陈丹琦目前正在访问 Facebook 人工智能研究院 Facebook AI Research 和华盛顿大学
，在今年秋季，她即将前往普林斯顿大学计算机科学系担任助理教授。
在毕业于斯坦福大学之前，陈丹琦于 2012 年毕业于清华学堂计算机科学实验班（姚班
）。值得一提的是，她在高中（长沙市雅礼中学）参加信息学国家队集训期间提出了
cdq 分治算法，用于处理一类分治问题；在高中期间她还发明了插头 DP，主要用于解
决数据规模小的棋盘模型路径问题。大牛果然在高中期间就已经「起飞」了。
陈丹琦获得的荣誉和参与的研究还有很多。2010 年，她获得了 ACM ICPC 国际大学生
程序设计竞赛全球总决赛银牌。在斯坦福期间，她在 2014 年发表的论文《A Fast and
Accurate Dependency Parser using Neural Networks》堪称深度学习依存分析方法
的「开山之作」，她和曼宁教授提出的方法在保持精度的前提下，将解析速度提高了
60 倍。
热门的博士毕业论文
这篇毕业论文名为《Neural Reading Comprehension and Beyond》，描述了她在博士
期间的三个重要研究，以解决「人工智能中最难以捉摸和长期存在的挑战之一」：如何
让机器学会理解人类语言。让我们看看她的毕业论文究竟说了什么。
论文链接：https://stacks.stanford.edu/file/druid:gd576xb1833/thesis-
augmented.pdf
摘要
教机器学会理解人类语言文本是人工智能领域最困难的长期挑战之一。本论文致力于解
决阅读理解问题，即如何构建一个计算机系统来阅读一段文本并回答理解问题。一方面
，我们认为阅读理解是衡量计算机系统理解人类语言程度的重要任务。另一方面，如果
我们可以构建高性能的阅读理解系统，那么这些系统就会成为问答、对话系统等应用的
关键技术。
本论文聚焦于神经阅读理解，这是一类构建在深度神经网络之上的阅读理解模型。与基
于特征的手工传统模型相比，这些端到端的神经模型已被证明在学习丰富的语言现象方
面更加有效，在所有现有阅读理解基准测试中都有大幅度的提高。
本论文包含两个部分。第一部分旨在概括神经阅读理解的本质并展示我们在构建高效神
经阅读理解模型方面所做的工作。更重要的是了解神经阅读理解模型实际上学习了什么
，以及解决当前任务需要怎样的语言理解深度。我们还总结了该领域的当前进展并讨论
了未来的发展方向以及一些待解决的问题。
第二部分将探讨如何基于神经阅读理解的当前成果构建实际应用。我们开拓了两个研究
方向：1）我们如何将信息检索技术与神经阅读理解相结合，来解决大型开放域问答问
题；2）我们如何从当前基于跨距的（span-based）单轮（single-turn）阅读理解模型
构建对话问答系统。我们在 DRQA 和 COQA 项目中实现了这些想法，证明了这些方法的
有效性。我们相信，这些技术对于未来的语言技术将非常有帮助。
动机
让机器学会理解人类语言文本是人工智能领域最难的长期挑战之一。在开始做这件事之
前，我们必须要知道理解人类语言意味着什么？图 1.1 展示了 MCTEST 数据集（
Richardson et al., 2013）中的一个儿童故事，只有简单的词汇和语法。为了处理这
样一段文字，NLP 社区花费了数十年的精力来解决各种不同的文本理解任务，包括：
a）词性标注。它要求机器理解这些东西：如在第一个句子「Alyssa got to the beach
after a long trip」中，Alyssa 是专有名词，beach 和 trip 是普通名词，got 是
动词的过去式，long 是形容词，after 是介词。
b）命名实体识别。机器要能够理解 Alyssa、Ellen、Kristen 是人名，Charlotte、
Atlanta、Miami 是地名。
c）句法分析。为了理解每句话的含义，机器需要理解单词之间的关系，或句法（语法
）结构。还是以第一句话为例，机器要能够理解 Alyssa 是主语，beach 是动词 got
的宾语，而 after a long trip 是介词短语，描述了和动词的时间关系。
d）共指消解（coreference resolution）此外，机器甚至还要理解句子之间的相互作
用。例如，句子「She's now in Miami」中的 she 指的是第一句话中提到的 Alyssa，
而第六行中的「The girls」指的是前面提到的 Alyssa、Ellen、Kristen 和 Rachel。
是否有全面的评估方法来测试所有这些方面并探索更深层次的理解呢？我们认为阅读理
解任务（根据一段文字回答理解问题）就是一个合适又重要的方法。正如我们会用阅读
理解来测试人们对一段文本的理解程度，我们认为它同样能够用来测试计算机系统对人
类语言的理解程度。
我们可以看看基于相同段落（图 1.1）提出的一些阅读理解问题：
a）要回答第一个问题「What city is Alyssa in？」机器要找到句子「She's now in
Miami」并解决「She 指的是 Alyssa」这个共指消解问题，最后再给出正确答案「
Miami」。
b）对于第二个问题「What did Alyssa eat at the restaurant？」，机器首先要找到
句子：「The restaurant had a special on catfish.」和「Alyssa enjoyed the
restaurant's special.」，然后理解第二个句子中 Alyssa 吃的 special 就是第一个
句子中的 special。而第一个句子中 special 提到的是 catfish，所以最终正确答案
是 catfish。
c）最后一个问题比较有难度。为了正确回答该问题，机器要找出该段落中提到的所有
人名及其之间的关系，然后进行算术推理（arithmetic reasoning），最终给出答案「
3」。
可以看到，计算机系统要了解文本的各个方面才能正确回答这些问题。因为问题可以被
设计为询问那些我们关心的方面，阅读理解应该是用来评估语言理解程度的最合适任务
。这也是本文的中心主题。
在本文中，我们研究了这样一个阅读理解问题：我们该如何构建计算机系统来阅读文章
并回答这些理解问题？尤其是，我们重点关注神经阅读理解——一种用深度神经网络构
建的阅读理解模型，该模型被证明比基于特征的非神经模型更有效。
阅读理解领域历史悠久。早在 20 世纪 70 年代，研究人员就已经认识到它是测试计算
机程序语言理解能力的重要方法 (Lehnert, 1977)。但是，它却被忽视了数十年，直到
最近才获得了大量关注并取得了快速的进展（如图 2.1 所示），包括我们将在本文详
述的工作。阅读理解近期取得的成功可以归功于两方面：
从（文章、问题、答案）三个方面创建的大规模监督数据集；
神经阅读理解模型的发展。
图 1.2：谷歌上的搜索结果。它不仅返回了搜索文档列表，还给出了文档中更精确的答
案。
本文涵盖了当代神经阅读理解的本质：问题的形式，这些系统的组成部分和关键成分，
以及对当前神经阅读理解系统优势和弊端的理解。
本文的第二个中心主题是，我们坚信，如果可以构建高性能的阅读理解系统，那这些系
统将是建立诸如问答和对话系统等应用的关键技术。事实上，这些语言技术已经与我们
的日常生活息息相关了。例如，我们在谷歌上搜索「有多少人在斯坦福大学工作？」（
图 1.2），谷歌将不仅返回文档列表，还会阅读这些网页文档并突出显示最可靠的答案
，并将它们展示在搜索结果的顶部。这正是阅读理解可以帮助我们的地方，使搜索引擎
变得更加智能。而且，随着数字个人助理（如 Alexa、Siri、谷歌助手或者 Cortana）
的发展，越来越多的用户通过对话和询问信息问题来使用这些设备。我们相信，构建能
够阅读和理解文本的机器也将大大提升这些个人助理的能力。
因此，如何根据神经阅读理解近期取得的成功来创建实际应用程序也是我们感兴趣的一
方面。我们探索了两个将神经阅读理解作为关键组成部分的研究方向：
开放域问答结合了来自信息检索与阅读理解的挑战，旨在回答来自网络或大型百科全书
（如维基百科）的一般性问题。
对话式问答结合了来自对话和阅读理解的挑战，解决了一段文字中的多轮问答问题，比
如用户如何与智能体互动对话。图 1.3 展示了来自 COQA 数据集 (Reddy et al.,
2019) 的一个示例。在该例子中，一个人可以基于 CNN 文章内容提出一系列相互关联
的问题。
图 2.2：论文整理了神经阅读理解中数据集（黑色）和模型（蓝色）的最新重要进展。
在这个表中，除 BERT (Devlin et al., 2018) 外，以相应论文的发表日期排序。
六年博士心路历程
在博士论文中，陈丹琦也介绍了自己博士期间的学习经历，感谢了在前进过程中给予了
她极大帮助的一批人，包括父母、老师、爱人、朋友。编译介绍了致谢中的部分内容，
让我们一窥优秀的人砥砺前行的历程：
对于我来说，在斯坦福的六年是一段难忘的宝贵经历。2012 年刚开始读博的时候，我
甚至都不能说出流利的英语（按照要求，我要在斯坦福修 5 门英语课程），对这个国
家也知之甚少，甚至从未听说过「自然语言处理」这一概念。不可思议的是，在过去的
几年里我竟然一直在做语言方面的研究，训练计算机系统理解人类语言（多数情况下是
英语），我自己也在学习用英语进行沟通、写作。同时，2012 年也是深度神经网络开
始起飞并主导几乎所有我们今天看到的人工智能应用的一年。我从一开始就见证了人工
智能的快速发展，并为即将成为这一浪潮的一份子而感到兴奋（有时是恐慌）。如果没
有那么多人的帮助和支持，我也不可能走到今天。我由衷地感谢他们。
首先要感谢的是我的导师克里斯托弗·曼宁。我刚来斯坦福的时候还不知道 Chris。直
到和他一起工作了几年、学了 NLP 之后，我才意识到自己何其荣幸，能够和这一领域
如此杰出的人才共事。他对这一领域总是充满洞察力，而且非常注重细节，还能很好地
理解问题的本质。更重要的是，Chris 是一个非常善良、体贴、乐于助人的导师。有师
如此，别无他求。他就像我的一位老友（如果他不介意我这么说的话），我可以在他面
前畅所欲言。他一直对我抱有信心，即使有时候我自己都没有自信。我一直都会对他抱
有感激，甚至现在已经开始想念他了。
除了 Chris，我还想感谢 Dan Jurafsky 和 Percy Liang——斯坦福 NLP Group 的另
外两位杰出人才————他们是我论文委员会的成员，在我的博士学习期间给予了我很
多指导和帮助。Dan 是一位非常有魅力、热情、博学的人，每次和他交谈之后我都感觉
自己的激情被点燃了。Percy 是一位超人，是所有 NLP 博士生的榜样（至少是我的榜
样）。我无法理解一个人怎么可以同时完成那么多工作，本论文的很大一部分都是以他
的研究为基础进行的。感谢 Chris、Dan 和 Percy 创建了斯坦福 NLP Group，这是我
在斯坦福的家，我很荣幸成为这个大家庭的一员。
此外，Luke Zettlemoyer 成为我的论文委员会成员也让我感到万分荣幸。本论文呈现
的工作与他的研究密切相关，我从他的论文中学到了很多东西。我期待在不远的将来与
他一起共事。
读博期间，我在微软研究院和 Facebook AI Research 获得了两份很棒的实习经历。感
谢 Kristina Toutanova、Antoine Bordes 和 Jason Weston 在实习期间给予我的指导
。我在 Facebook 的实习项目最终给了我参与 DRQA 项目的契机，也成为了本论文的一
部分。感谢微软和 Facebook 给予我奖学金。
我要感谢我的父母 Zhi Chen 和 Hongmei Wang。和这一代大多数中国学生一样，我是
家里的独生子女。我和父母的关系非常亲密，即使我们之间有着十几个小时的时差而我
每年只能挤出 2-3 周的时间来陪他们。是他们塑造了今天的我，廿载深恩，无以为报
，只希望我目前所取得的一切能够让他们感到一丝骄傲和自豪吧。
最后，在这里我要感谢俞华程对我的爱与支持（我们在这篇博士毕业论文提交之前 4
个月结婚了）。我在 15 岁时遇见了华程，从那时起我们一起经历了几乎所有的事情：
从高中的编程竞赛到清华大学美好的大学时光，然后又在 2012 年共同进入斯坦福大学
攻读计算机科学博士学位。在过去的十年里，他不仅是我的伴侣、我的同学、我最好的
朋友，也是我最钦佩的人，因为他时刻保持谦虚、聪慧、专注与努力。没有他，我就不
会来到斯坦福。没有他，我也不会获得普林斯顿的职位。感谢他为我所做的一切。
致我的父母和俞华程，感谢他们无条件的爱。 |
p*u
发帖数: 2454 | 2 重点在最后一句：15岁遇到老公，一起搞编程竞赛上清华姚班，然后一起Stanford CS
读博。我们基本可以肯定，她和老公的论文都是两人合作的成果。她现在毕业直接拿到
普林斯顿的offer，她老公却只能在哈佛做破死刀。琐男在美国真的不容易，sigh。
【在 p*u 的大作中提到】
: 【 以下文字转载自 JobHunting 讨论区 】
: 发信人: joejoejoe88 (joejoejoe88), 信区: JobHunting
: 标 题: 在中文媒体传疯了， Stanford 算法女神
: 发信站: BBS 未名空间站 (Thu Feb 28 14:09:07 2019, 美东)
: http://www.heijing.co/almosthuman2014/2019022813010089707
: 出身清华姚班，斯坦福博士毕业，她的毕业论文成了「爆款」
: 很少有人的博士论文能够成为「爆款文章」，但陈丹琦做到了。这位近日从斯坦福毕业
: 的计算机科学博士引发了人们的广泛关注。据斯坦福大学图书馆介绍，她长达 156 页
: 的毕业论文《Neural Reading Comprehension and Beyond》上传仅四天就获得了上千
: 次的阅读量，成为了斯坦福大学近十年来最热门的毕业论文之一。
|
h*i
发帖数: 3446 | 3 Skimmed the thesis because someone sent to me, not impressed.
CS
【在 p*u 的大作中提到】
: 重点在最后一句：15岁遇到老公，一起搞编程竞赛上清华姚班，然后一起Stanford CS
: 读博。我们基本可以肯定，她和老公的论文都是两人合作的成果。她现在毕业直接拿到
: 普林斯顿的offer，她老公却只能在哈佛做破死刀。琐男在美国真的不容易，sigh。
|
g****t
发帖数: 31659 | 4 假如：
（1）效果上赢不了MSFT，Amazon，goog这几家。甚至科大讯飞。
（2）方法上没有新意。
那确实不值得花时间阅读。还不如在本版瞎喷呢。
假如我做这个题目，第一要求是必须可以对论文本身进行阅读。
AI的自然语言理解系统，是consume语言的。
所以boost是验证的必须,和编译器类似。
【在 h*i 的大作中提到】
: Skimmed the thesis because someone sent to me, not impressed.
:
: CS
|
j*****w
发帖数: 1 | 5 这篇论文还没看。不过看过好些这方面的论文，绝大部分企图只用神经网络解决阅读理
解的问题，给人强行灌水上位的感觉。
都是暴力调参提高几个百分点的做法，跟真正阅读理解没有半毛钱的关系。 |
j*****w
发帖数: 1 | 6 现行的做法都是停留在文本 manipulation，然后拿个网红 QA set，claim 提升了几个
百分点，就要发论文。
阅读理解其实要比文本本身要深入得多，需要理解 underlying 文本之下的概念和常识
，加以对现实世界的理解和物理规律的掌握，做出来才有意思。 |
g****t
发帖数: 31659 | 7 你花点钱买个alexa玩一下，就不会是相同的结论了。智能音箱出货总量早就上亿。
我儿子的问答习惯都变了很多。
另外nlp open source库，质量和技术推进还是很不错的。
【在 j*****w 的大作中提到】
: 现行的做法都是停留在文本 manipulation，然后拿个网红 QA set，claim 提升了几个
: 百分点，就要发论文。
: 阅读理解其实要比文本本身要深入得多，需要理解 underlying 文本之下的概念和常识
: ，加以对现实世界的理解和物理规律的掌握，做出来才有意思。
|
j*****w
发帖数: 1 | 8 看论文，这是本质。
看效果，那是现象。
不断加大的算力和层层堆叠的 tricks 给人展示出来的 AI 对话似懂非懂的假象，不能
改变仅靠 NN 不能完成真正理解文本的问题。 |
g****t
发帖数: 31659 | 9 你可能没走过写文章，写thesis的科班生活吧？
【在 j*****w 的大作中提到】
: 看论文，这是本质。
: 看效果，那是现象。
: 不断加大的算力和层层堆叠的 tricks 给人展示出来的 AI 对话似懂非懂的假象，不能
: 改变仅靠 NN 不能完成真正理解文本的问题。
|
j*****w
发帖数: 1 | 10 你晓得 Alexa 有个 Skill Store，上面有大把 devs 给它开发各种对话模版？模版多
了，总能套一个，让你觉得它理解你说的话？
【在 g****t 的大作中提到】
: 你花点钱买个alexa玩一下，就不会是相同的结论了。智能音箱出货总量早就上亿。
: 我儿子的问答习惯都变了很多。
: 另外nlp open source库，质量和技术推进还是很不错的。
|
|
|
j*****w
发帖数: 1 | 11 这种在讨论中间撇开话题本身不谈，绕到对方身上，窥探对方的背景不是一个好习惯。
【在 g****t 的大作中提到】
: 你可能没走过写文章，写thesis的科班生活吧？
|
j*****w
发帖数: 1 | 12 Google 收购的 API.ai，年代不算久远，用的是最基本的模版技术，每一个 scenario
都要为它写一个模版。跟 Alexa 差不离。其他几个和 API.ai 类似的公司也用模版技
术。period
NLTK，Gensim，Microsoft bot framework，Stanford NLP toolkit，这些做的都是文
本的 manipulation 的工作，涉及到文本背后的概念和推理极少。 |
r****t
发帖数: 10904 | 13 Stanford NLP toolkit 和 NLTK 能比较评论下吗？
scenario
【在 j*****w 的大作中提到】
: Google 收购的 API.ai，年代不算久远，用的是最基本的模版技术，每一个 scenario
: 都要为它写一个模版。跟 Alexa 差不离。其他几个和 API.ai 类似的公司也用模版技
: 术。period
: NLTK，Gensim，Microsoft bot framework，Stanford NLP toolkit，这些做的都是文
: 本的 manipulation 的工作，涉及到文本背后的概念和推理极少。
|
j*****w
发帖数: 1 | |
g****t
发帖数: 31659 | 15 我招了个IBM以前的工程师做这一块。网上这些东西距离实际情况是很远的。确定好投
入方向然后outsource给专家可能是最好的办法。
: 看这些 Quora 问答可能有初步的了解：
: https://www.quora.com/Which-NLP-library-is-most-mature-and-
should-be-
used-by
: -a-startup-for-its-NLP-needs
: https://www.quora.com/Which-library-is-better-for-Natural-
Language-
: Processing-nlp-Stanford-Parser-and-Corenlp-NLTK-or-OpenNLP
: :)
【在 j*****w 的大作中提到】
: 看这些 Quora 问答可能有初步的了解：
: https://www.quora.com/Which-NLP-library-is-most-mature-and-should-be-used-by
: -a-startup-for-its-NLP-needs
: https://www.quora.com/Which-library-is-better-for-Natural-Language-
: Processing-nlp-Stanford-Parser-and-Corenlp-NLTK-or-OpenNLP
: :)
|
g****t
发帖数: 31659 | 16 你的“论文”二字的使用方法跟写论文当产出的老师傅不一样
。自从中国研究生扩招以来，一天不知道多少论文都是灌水出来的，怎么跟“本
质”二字联系起来了。我有点理解困难。
很抱歉让你不快。
语言很多时候很难表达人的意思。例如我讲：
“除我之外，都不是人”。恐怕没人会同意。
然而如果这句里的“我”的意思是一个holder或者指针，而非
这holder的value(= guvest)呢？很可能接受的人就会很多。
: 这种在讨论中间撇开话题本身不谈，绕到对方身上，窥探对方的背景不是
一个好
习惯。
【在 j*****w 的大作中提到】
: 看这些 Quora 问答可能有初步的了解：
: https://www.quora.com/Which-NLP-library-is-most-mature-and-should-be-used-by
: -a-startup-for-its-NLP-needs
: https://www.quora.com/Which-library-is-better-for-Natural-Language-
: Processing-nlp-Stanford-Parser-and-Corenlp-NLTK-or-OpenNLP
: :)
|
j*****w
发帖数: 1 | 17 所谓的本质是：判断这些技术是否真的有说的那么厉害，要看它的论文以它的实现方式
作为判断的基本依据。
而不是根据根据技术当下呈现出来的效果来进行 extrapolate，比如说前年 AI 是 2
岁孩子智力，去年是 3 岁孩子智力，然后 extrapolate 到再过 15 年就是成年人的智
力，这显然是错的。很多事情无法根据表象来 extrapolate。
比如 Ray Kurzweil 认为 2029 年前奇点会到，argument 是根据当时芯片晶体管数目
，辅以摩尔定律，推出 2029 年芯片的复杂可以匹配大脑，就会达到人的智力。这是一
个 false extrapolation。
个人认为，DL 在自然语言领域的天花板很低，如果不辅以其他方法，比如符号化，那
么也只能够提几个百分点，灌几篇论文罢了。
理由是，DL 在 pattern recognition 方面很有效，但是自然语言理解涉及到的不仅是
pattern recognition，还有动态操作概念和常识，这些 DL 无能为力。
未来 Alexa 如果还是完全建立在 DL 上面，那么数据量再大，也无法理解自然语言。
你永远会发现上它有时候说话像呓语。如果根据它背后的数据量 extrapolate 说数据
到了这么大，就会拥有人的智力。不存在。false extrapolation。
AI is not Artifical Intelligence, but Automated Imbecile.
大力鼓吹仅凭 DL 可以 crack 自然语言理解的说法，个人看法，只是 marketing hype
，用来为一小部分人的利益服务。比如，拉投资，谋取教职之类的。 |
m******r
发帖数: 1033 | 18 真有文化，我还搜一下什么是imbecile,
【在 j*****w 的大作中提到】
: 所谓的本质是：判断这些技术是否真的有说的那么厉害，要看它的论文以它的实现方式
: 作为判断的基本依据。
: 而不是根据根据技术当下呈现出来的效果来进行 extrapolate，比如说前年 AI 是 2
: 岁孩子智力，去年是 3 岁孩子智力，然后 extrapolate 到再过 15 年就是成年人的智
: 力，这显然是错的。很多事情无法根据表象来 extrapolate。
: 比如 Ray Kurzweil 认为 2029 年前奇点会到，argument 是根据当时芯片晶体管数目
: ，辅以摩尔定律，推出 2029 年芯片的复杂可以匹配大脑，就会达到人的智力。这是一
: 个 false extrapolation。
: 个人认为，DL 在自然语言领域的天花板很低，如果不辅以其他方法，比如符号化，那
: 么也只能够提几个百分点，灌几篇论文罢了。
|
l*******m
发帖数: 1096 | 19 还是不错的
：【 以下文字转载自 JobHunting 讨论区 】
：发信人: joejoejoe88 (joejoejoe88), 信区: JobHunting |
a****8
发帖数: 2771 | 20 技术问题技术讨论。技术论据到位了大家都信服。动不动就搬出来你被广泛应用的专利
和CTO的身份，虽然让你看起来更牛逼，但是并没有给你的技术论据加分。
【在 g****t 的大作中提到】
: 你的“论文”二字的使用方法跟写论文当产出的老师傅不一样
: 。自从中国研究生扩招以来，一天不知道多少论文都是灌水出来的，怎么跟“本
: 质”二字联系起来了。我有点理解困难。
: 很抱歉让你不快。
: 语言很多时候很难表达人的意思。例如我讲：
: “除我之外，都不是人”。恐怕没人会同意。
: 然而如果这句里的“我”的意思是一个holder或者指针，而非
: 这holder的value(= guvest)呢？很可能接受的人就会很多。
:
:
: 这种在讨论中间撇开话题本身不谈，绕到对方身上，窥探对方的背景不是
|
|
|
g****t
发帖数: 31659 | 21 我没什么技术。所以也不需要什么加分。
【在 a****8 的大作中提到】
: 技术问题技术讨论。技术论据到位了大家都信服。动不动就搬出来你被广泛应用的专利
: 和CTO的身份，虽然让你看起来更牛逼，但是并没有给你的技术论据加分。
|
C*****l
发帖数: 1 | 22 比如 Ray Kurzweil 认为 2029 年前奇点会到，argument 是根据当时芯片晶体管数目
，辅以摩尔定律，推出 2029 年芯片的复杂可以匹配大脑，就会达到人的智力。这是一
个 false extrapolation。
别的不知道，Kurzweil这个猜想肯定是错的。现在离人的智力还有十万八千里。
【在 j*****w 的大作中提到】
: 所谓的本质是：判断这些技术是否真的有说的那么厉害，要看它的论文以它的实现方式
: 作为判断的基本依据。
: 而不是根据根据技术当下呈现出来的效果来进行 extrapolate，比如说前年 AI 是 2
: 岁孩子智力，去年是 3 岁孩子智力，然后 extrapolate 到再过 15 年就是成年人的智
: 力，这显然是错的。很多事情无法根据表象来 extrapolate。
: 比如 Ray Kurzweil 认为 2029 年前奇点会到，argument 是根据当时芯片晶体管数目
: ，辅以摩尔定律，推出 2029 年芯片的复杂可以匹配大脑，就会达到人的智力。这是一
: 个 false extrapolation。
: 个人认为，DL 在自然语言领域的天花板很低，如果不辅以其他方法，比如符号化，那
: 么也只能够提几个百分点，灌几篇论文罢了。
|
C*****l
发帖数: 1 | 23 能上姚班和斯坦福，智商应该蛮高的
CS
【在 p*u 的大作中提到】
: 重点在最后一句：15岁遇到老公，一起搞编程竞赛上清华姚班，然后一起Stanford CS
: 读博。我们基本可以肯定，她和老公的论文都是两人合作的成果。她现在毕业直接拿到
: 普林斯顿的offer，她老公却只能在哈佛做破死刀。琐男在美国真的不容易，sigh。
|
d******c
发帖数: 2407 | 24 换个角度，从奥赛出来的恐怕很难有大科学家。竞赛训练的就是快速解题，优化的东西
和做研究完全不同--不是说题有问题，而是优化目标是在特定条件下的分数。
之前看了一点编程奥赛的教材，很多地方都要为了一些细节优化，很难想象经过这样训
练之后养成的习惯对科研有益。
你看她到美国之前不知道NLP，到斯坦佛之前不知道自己导师干什么的，这研究是怎么
做的？扔给一个题目就去做？有过自己思考找题目吗？
【在 C*****l 的大作中提到】
: 能上姚班和斯坦福，智商应该蛮高的
:
: CS
|
j*****w
发帖数: 1 | 25 目测这种行为 pattern 在中文社区比较常见，英文社区相对少一些。
中文社区所谓“辩论”的目的是要赢，要比谁嗓门大，资格老，更能 diss 对方。
搬一些自己也一知半解的 buzzwords 出来，仗着对方不懂；如果对方更懂，那么赶紧
转移话题，落下一句说字打错了。
要么就说老子当年咋样咋样，你新来的还得学。
搬出一些对方成本高的假设让他去实现，比如“你要按照我的说法做上半年，你就知道
为什么你错了，我对了”。
说一些天马行空的话题，跟讨论的主题 barely 相关，然后直接神秘兮兮地跳到一个貌
似高深的结论，还告诉你“跟你说你也不懂”。连 hand-waving argument 都算不上。
拉大旗作虎皮，劣根性。逻辑思维不缜密的表现。这些都没必要，辩论中都是减分项。
如果思维缜密，表达能力好，就能够 construct a solid argument。
Eloquence 的本意可不是嗓门大，而是说一方的 point 是否明确，argument 是否
solid，就够了。
【在 a****8 的大作中提到】
: 技术问题技术讨论。技术论据到位了大家都信服。动不动就搬出来你被广泛应用的专利
: 和CTO的身份，虽然让你看起来更牛逼，但是并没有给你的技术论据加分。
|
h*i
发帖数: 3446 | 26 对的。
但辩论能赢的办法其实还是一样的，比如用英文社区的辩论办法，在中文社区也是适用
的。
无论在那儿讨论，我个人的经验，是要言之有物，只参与自己懂的东西的讨论，不懂的
就不要发表意见，所谓“立于不败之地”，就是这个意思。
【在 j*****w 的大作中提到】
: 目测这种行为 pattern 在中文社区比较常见，英文社区相对少一些。
: 中文社区所谓“辩论”的目的是要赢，要比谁嗓门大，资格老，更能 diss 对方。
: 搬一些自己也一知半解的 buzzwords 出来，仗着对方不懂；如果对方更懂，那么赶紧
: 转移话题，落下一句说字打错了。
: 要么就说老子当年咋样咋样，你新来的还得学。
: 搬出一些对方成本高的假设让他去实现，比如“你要按照我的说法做上半年，你就知道
: 为什么你错了，我对了”。
: 说一些天马行空的话题，跟讨论的主题 barely 相关，然后直接神秘兮兮地跳到一个貌
: 似高深的结论，还告诉你“跟你说你也不懂”。连 hand-waving argument 都算不上。
: 拉大旗作虎皮，劣根性。逻辑思维不缜密的表现。这些都没必要，辩论中都是减分项。
|
h*i
发帖数: 3446 | 27 你这个要求有点高哦，有点以偏概全了。
其实很多人都是这样的，一开始不知道自己要研究什么，不妨碍最后成为大家。
研究这个事情，有很多偶然性。
【在 d******c 的大作中提到】
: 换个角度，从奥赛出来的恐怕很难有大科学家。竞赛训练的就是快速解题，优化的东西
: 和做研究完全不同--不是说题有问题，而是优化目标是在特定条件下的分数。
: 之前看了一点编程奥赛的教材，很多地方都要为了一些细节优化，很难想象经过这样训
: 练之后养成的习惯对科研有益。
: 你看她到美国之前不知道NLP，到斯坦佛之前不知道自己导师干什么的，这研究是怎么
: 做的？扔给一个题目就去做？有过自己思考找题目吗？
|
h*i
发帖数: 3446 | 28 Ever occurs to you that maybe, just maybe, this is exactly what "
understanding" actually is?
【在 j*****w 的大作中提到】
: 你晓得 Alexa 有个 Skill Store，上面有大把 devs 给它开发各种对话模版？模版多
: 了，总能套一个，让你觉得它理解你说的话？
|
j*****w
发帖数: 1 | 29 A lot. My answer is negative.
基于模版的对话系统跟我理解的 understanding 关系不大。也许可以在某种程度上
认为系统对某些词有一定的理解，但是对整句话理解困难。
但是如果把 understanding 的定义局限到很小的范围，then maybe，it understands
something.
【在 h*i 的大作中提到】
: Ever occurs to you that maybe, just maybe, this is exactly what "
: understanding" actually is?
|
r****t
发帖数: 10904 | 30 I think it is what understanding actually is.
【在 h*i 的大作中提到】
: Ever occurs to you that maybe, just maybe, this is exactly what "
: understanding" actually is?
|
|
|
h*i
发帖数: 3446 | 31 Why does 主流的认同 have to do with anything?
The only argument against this understanding of understanding, is the so
called "Chinese room" argument, which is not very convincing to say the
least.
understands
【在 j*****w 的大作中提到】
: A lot. My answer is negative.
: 基于模版的对话系统跟我理解的 understanding 关系不大。也许可以在某种程度上
: 认为系统对某些词有一定的理解，但是对整句话理解困难。
: 但是如果把 understanding 的定义局限到很小的范围，then maybe，it understands
: something.
|
j*****w
发帖数: 1 | 32 Because when it comes to understanding, we need to base it off of some
definition where we can have further discussion.
I don't think the "Chinese room" scenario is very convincing. Some essential
attributes/characteristics of human-level intelligence are missing ...
【在 h*i 的大作中提到】
: Why does 主流的认同 have to do with anything?
: The only argument against this understanding of understanding, is the so
: called "Chinese room" argument, which is not very convincing to say the
: least.
:
: understands
|
h*i
发帖数: 3446 | 33 Same here.
I think it is the way forward. It's working, it is a solvable problem, it's
an engineering problem, it's a resource problem, it's winning.
【在 r****t 的大作中提到】
: I think it is what understanding actually is.
|
h*i
发帖数: 3446 | 34 My definition is simple: "does it work?"
essential
【在 j*****w 的大作中提到】
: Because when it comes to understanding, we need to base it off of some
: definition where we can have further discussion.
: I don't think the "Chinese room" scenario is very convincing. Some essential
: attributes/characteristics of human-level intelligence are missing ...
|
j*****w
发帖数: 1 | 35 答案是：
Yes, it does. In a very limited and fragile fashion, lacking the flexibility
of human intelligence.
And no, once you want to go beyond that.
【在 h*i 的大作中提到】
: My definition is simple: "does it work?"
:
: essential
|
h*i
发帖数: 3446 | 36 Now we are going somewhere.
If the problem is "lacking the flexibility of human intelligence", can we
fix that?
My answer is, yes. I don't see any fundamental barrier. It's an engineering
problem. With the right tools, we can solve the problem.
Your answer is, no. But why?
flexibility
【在 j*****w 的大作中提到】
: 答案是：
: Yes, it does. In a very limited and fragile fashion, lacking the flexibility
: of human intelligence.
: And no, once you want to go beyond that.
|
j*****w
发帖数: 1 | 37 > If the problem is "lacking the flexibility of human intelligence", can we
fix that?
没见过有人能够。甚至当试图去 tackle 这个问题之前，需要先 frame the problem。
好像没有人可以 frame the problem，所以不能。这个问题的一个子问题是
epistemology，仍然处在萌芽阶段。
我不认为这已经是一个 engineering problem。这个问题尚且停留在 philosophy，还
没有成熟到 science，也没有相关的理论，更没有到 engineering 层次。
明显这个领域的 Newton 还没有出现。
engineering
【在 h*i 的大作中提到】
: Now we are going somewhere.
: If the problem is "lacking the flexibility of human intelligence", can we
: fix that?
: My answer is, yes. I don't see any fundamental barrier. It's an engineering
: problem. With the right tools, we can solve the problem.
: Your answer is, no. But why?
:
: flexibility
|
h*i
发帖数: 3446 | 38 都有something working了，为什么还是个epistemology problem? 就是个工程问题啊。
不够flexible? 看看有没有什么更flexible的东西。哦，有啊。试试看啊？
http://www.mitbbs.com/article_t/Programming/31544997.html
Science always come AFTER the engineering, not other way around.
The problem with textbook learning, is that students get the history
backwards, hence miss the whole point.
we
【在 j*****w 的大作中提到】
: > If the problem is "lacking the flexibility of human intelligence", can we
: fix that?
: 没见过有人能够。甚至当试图去 tackle 这个问题之前，需要先 frame the problem。
: 好像没有人可以 frame the problem，所以不能。这个问题的一个子问题是
: epistemology，仍然处在萌芽阶段。
: 我不认为这已经是一个 engineering problem。这个问题尚且停留在 philosophy，还
: 没有成熟到 science，也没有相关的理论，更没有到 engineering 层次。
: 明显这个领域的 Newton 还没有出现。
:
: engineering
|
j*****w
发帖数: 1 | 39 > Science always come AFTER the engineering, not other way around.
不，没有 science 理论的指导，谈不上 engineering。
也许在 Newton 之前，也有很多人做运动方面的实验什么的，那个可以叫 practice，
experimenting 之类的，但是算不上 engineering。
只有 Newton 把力学问题 frame 了以后，用数学的语言把它变成一门科学，并且用这
些理论来指导后来的 engineering，才有了后续大量的发明。
没有 Newton 的力学的 Science，绝无可能有发射火箭到火星的 engineering。
Philosophy -> Science -> Engineering -> Prototype -> Product: that's how it
typically works.
啊。
【在 h*i 的大作中提到】
: 都有something working了，为什么还是个epistemology problem? 就是个工程问题啊。
: 不够flexible? 看看有没有什么更flexible的东西。哦，有啊。试试看啊？
: http://www.mitbbs.com/article_t/Programming/31544997.html
: Science always come AFTER the engineering, not other way around.
: The problem with textbook learning, is that students get the history
: backwards, hence miss the whole point.
:
: we
|
j*****w
发帖数: 1 | 40 WIKI 关于 Engineering 的定义的第一句：
https://en.wikipedia.org/wiki/Engineering
Engineering is the application of knowledge in the form of science,
mathematics, and empirical evidence, to the innovation, design, construction
, operation and maintenance of structures, machines, materials, devices,
systems, processes, and organizations.
Science leads to engineering. Not the other way around. Period. |
|
|
h*i
发帖数: 3446 | 41 Wikipedia is just copied textbook learning.
Any serious book of history of science will say otherwise.
construction
【在 j*****w 的大作中提到】
: WIKI 关于 Engineering 的定义的第一句：
: https://en.wikipedia.org/wiki/Engineering
: Engineering is the application of knowledge in the form of science,
: mathematics, and empirical evidence, to the innovation, design, construction
: , operation and maintenance of structures, machines, materials, devices,
: systems, processes, and organizations.
: Science leads to engineering. Not the other way around. Period.
|
j*****w
发帖数: 1 | |
h*i
发帖数: 3446 | 43 完全错误的。
说个最简单的，最近的，省得远古历史说不清楚：
我们是先有飞机，才有空气动力学的。对不对？
it
【在 j*****w 的大作中提到】
: > Science always come AFTER the engineering, not other way around.
: 不，没有 science 理论的指导，谈不上 engineering。
: 也许在 Newton 之前，也有很多人做运动方面的实验什么的，那个可以叫 practice，
: experimenting 之类的，但是算不上 engineering。
: 只有 Newton 把力学问题 frame 了以后，用数学的语言把它变成一门科学，并且用这
: 些理论来指导后来的 engineering，才有了后续大量的发明。
: 没有 Newton 的力学的 Science，绝无可能有发射火箭到火星的 engineering。
: Philosophy -> Science -> Engineering -> Prototype -> Product: that's how it
: typically works.
:
|
h*i
发帖数: 3446 | 44 力学是用来干嘛的？
不是用来指导如何搬运东西的么？
那我们没有牛顿力学的时候不懂如何搬运东西么？
it
【在 j*****w 的大作中提到】
: > Science always come AFTER the engineering, not other way around.
: 不，没有 science 理论的指导，谈不上 engineering。
: 也许在 Newton 之前，也有很多人做运动方面的实验什么的，那个可以叫 practice，
: experimenting 之类的，但是算不上 engineering。
: 只有 Newton 把力学问题 frame 了以后，用数学的语言把它变成一门科学，并且用这
: 些理论来指导后来的 engineering，才有了后续大量的发明。
: 没有 Newton 的力学的 Science，绝无可能有发射火箭到火星的 engineering。
: Philosophy -> Science -> Engineering -> Prototype -> Product: that's how it
: typically works.
:
|
h*i
发帖数: 3446 | 45 这么容易就认输了么？
【在 j*****w 的大作中提到】
: 让我们结束在这个问题上的讨论。
|
C*****l
发帖数: 1 | 46 奥赛出来的牛人多了去了，陶哲轩，佩洛尔曼，舒尔茨。NLP这种东西，本身也不是很
难，不像基础数学和基础物理那样需要大量的准备知识，这个女生从博士开始学也未必
不可。
【在 d******c 的大作中提到】
: 换个角度，从奥赛出来的恐怕很难有大科学家。竞赛训练的就是快速解题，优化的东西
: 和做研究完全不同--不是说题有问题，而是优化目标是在特定条件下的分数。
: 之前看了一点编程奥赛的教材，很多地方都要为了一些细节优化，很难想象经过这样训
: 练之后养成的习惯对科研有益。
: 你看她到美国之前不知道NLP，到斯坦佛之前不知道自己导师干什么的，这研究是怎么
: 做的？扔给一个题目就去做？有过自己思考找题目吗？
|
j*****g
发帖数: 254 | |
p*u
发帖数: 2454 | 48 【 以下文字转载自 JobHunting 讨论区 】
发信人: joejoejoe88 (joejoejoe88), 信区: JobHunting
标 题: 在中文媒体传疯了， Stanford 算法女神
发信站: BBS 未名空间站 (Thu Feb 28 14:09:07 2019, 美东)
http://www.heijing.co/almosthuman2014/2019022813010089707
出身清华姚班，斯坦福博士毕业，她的毕业论文成了「爆款」
很少有人的博士论文能够成为「爆款文章」，但陈丹琦做到了。这位近日从斯坦福毕业
的计算机科学博士引发了人们的广泛关注。据斯坦福大学图书馆介绍，她长达 156 页
的毕业论文《Neural Reading Comprehension and Beyond》上传仅四天就获得了上千
次的阅读量，成为了斯坦福大学近十年来最热门的毕业论文之一。
斯坦福大学还因此对陈丹琦进行了一次简单采访。
陈丹琦激动人心的研究迅速在社交网络和其他专注机器学习的新闻网站上传播。她的指
导老师——斯坦福 AI 实验室负责人、人工智能领域著名学者、斯坦福大学语言学和计
算机科学教授克里斯托弗·曼宁（Christopher Manning）在采访中表示：「陈丹琦是
使用神经网络方法解决自然语言理解问题方面的先驱。她简单、干净、高成功率的模型
吸引了众人的目光……她的这篇毕业论文主要研究神经网络阅读理解和问答，这些新兴
技术正在带来更好的信息访问方式——它可以让计算机系统可以真正回答你的实际问题
，而不是简单地返回文档搜索结果。」
陈丹琦目前正在访问 Facebook 人工智能研究院 Facebook AI Research 和华盛顿大学
，在今年秋季，她即将前往普林斯顿大学计算机科学系担任助理教授。
在毕业于斯坦福大学之前，陈丹琦于 2012 年毕业于清华学堂计算机科学实验班（姚班
）。值得一提的是，她在高中（长沙市雅礼中学）参加信息学国家队集训期间提出了
cdq 分治算法，用于处理一类分治问题；在高中期间她还发明了插头 DP，主要用于解
决数据规模小的棋盘模型路径问题。大牛果然在高中期间就已经「起飞」了。
陈丹琦获得的荣誉和参与的研究还有很多。2010 年，她获得了 ACM ICPC 国际大学生
程序设计竞赛全球总决赛银牌。在斯坦福期间，她在 2014 年发表的论文《A Fast and
Accurate Dependency Parser using Neural Networks》堪称深度学习依存分析方法
的「开山之作」，她和曼宁教授提出的方法在保持精度的前提下，将解析速度提高了
60 倍。
热门的博士毕业论文
这篇毕业论文名为《Neural Reading Comprehension and Beyond》，描述了她在博士
期间的三个重要研究，以解决「人工智能中最难以捉摸和长期存在的挑战之一」：如何
让机器学会理解人类语言。让我们看看她的毕业论文究竟说了什么。
论文链接：https://stacks.stanford.edu/file/druid:gd576xb1833/thesis-
augmented.pdf
摘要
教机器学会理解人类语言文本是人工智能领域最困难的长期挑战之一。本论文致力于解
决阅读理解问题，即如何构建一个计算机系统来阅读一段文本并回答理解问题。一方面
，我们认为阅读理解是衡量计算机系统理解人类语言程度的重要任务。另一方面，如果
我们可以构建高性能的阅读理解系统，那么这些系统就会成为问答、对话系统等应用的
关键技术。
本论文聚焦于神经阅读理解，这是一类构建在深度神经网络之上的阅读理解模型。与基
于特征的手工传统模型相比，这些端到端的神经模型已被证明在学习丰富的语言现象方
面更加有效，在所有现有阅读理解基准测试中都有大幅度的提高。
本论文包含两个部分。第一部分旨在概括神经阅读理解的本质并展示我们在构建高效神
经阅读理解模型方面所做的工作。更重要的是了解神经阅读理解模型实际上学习了什么
，以及解决当前任务需要怎样的语言理解深度。我们还总结了该领域的当前进展并讨论
了未来的发展方向以及一些待解决的问题。
第二部分将探讨如何基于神经阅读理解的当前成果构建实际应用。我们开拓了两个研究
方向：1）我们如何将信息检索技术与神经阅读理解相结合，来解决大型开放域问答问
题；2）我们如何从当前基于跨距的（span-based）单轮（single-turn）阅读理解模型
构建对话问答系统。我们在 DRQA 和 COQA 项目中实现了这些想法，证明了这些方法的
有效性。我们相信，这些技术对于未来的语言技术将非常有帮助。
动机
让机器学会理解人类语言文本是人工智能领域最难的长期挑战之一。在开始做这件事之
前，我们必须要知道理解人类语言意味着什么？图 1.1 展示了 MCTEST 数据集（
Richardson et al., 2013）中的一个儿童故事，只有简单的词汇和语法。为了处理这
样一段文字，NLP 社区花费了数十年的精力来解决各种不同的文本理解任务，包括：
a）词性标注。它要求机器理解这些东西：如在第一个句子「Alyssa got to the beach
after a long trip」中，Alyssa 是专有名词，beach 和 trip 是普通名词，got 是
动词的过去式，long 是形容词，after 是介词。
b）命名实体识别。机器要能够理解 Alyssa、Ellen、Kristen 是人名，Charlotte、
Atlanta、Miami 是地名。
c）句法分析。为了理解每句话的含义，机器需要理解单词之间的关系，或句法（语法
）结构。还是以第一句话为例，机器要能够理解 Alyssa 是主语，beach 是动词 got
的宾语，而 after a long trip 是介词短语，描述了和动词的时间关系。
d）共指消解（coreference resolution）此外，机器甚至还要理解句子之间的相互作
用。例如，句子「She's now in Miami」中的 she 指的是第一句话中提到的 Alyssa，
而第六行中的「The girls」指的是前面提到的 Alyssa、Ellen、Kristen 和 Rachel。
是否有全面的评估方法来测试所有这些方面并探索更深层次的理解呢？我们认为阅读理
解任务（根据一段文字回答理解问题）就是一个合适又重要的方法。正如我们会用阅读
理解来测试人们对一段文本的理解程度，我们认为它同样能够用来测试计算机系统对人
类语言的理解程度。
我们可以看看基于相同段落（图 1.1）提出的一些阅读理解问题：
a）要回答第一个问题「What city is Alyssa in？」机器要找到句子「She's now in
Miami」并解决「She 指的是 Alyssa」这个共指消解问题，最后再给出正确答案「
Miami」。
b）对于第二个问题「What did Alyssa eat at the restaurant？」，机器首先要找到
句子：「The restaurant had a special on catfish.」和「Alyssa enjoyed the
restaurant's special.」，然后理解第二个句子中 Alyssa 吃的 special 就是第一个
句子中的 special。而第一个句子中 special 提到的是 catfish，所以最终正确答案
是 catfish。
c）最后一个问题比较有难度。为了正确回答该问题，机器要找出该段落中提到的所有
人名及其之间的关系，然后进行算术推理（arithmetic reasoning），最终给出答案「
3」。
可以看到，计算机系统要了解文本的各个方面才能正确回答这些问题。因为问题可以被
设计为询问那些我们关心的方面，阅读理解应该是用来评估语言理解程度的最合适任务
。这也是本文的中心主题。
在本文中，我们研究了这样一个阅读理解问题：我们该如何构建计算机系统来阅读文章
并回答这些理解问题？尤其是，我们重点关注神经阅读理解——一种用深度神经网络构
建的阅读理解模型，该模型被证明比基于特征的非神经模型更有效。
阅读理解领域历史悠久。早在 20 世纪 70 年代，研究人员就已经认识到它是测试计算
机程序语言理解能力的重要方法 (Lehnert, 1977)。但是，它却被忽视了数十年，直到
最近才获得了大量关注并取得了快速的进展（如图 2.1 所示），包括我们将在本文详
述的工作。阅读理解近期取得的成功可以归功于两方面：
从（文章、问题、答案）三个方面创建的大规模监督数据集；
神经阅读理解模型的发展。
图 1.2：谷歌上的搜索结果。它不仅返回了搜索文档列表，还给出了文档中更精确的答
案。
本文涵盖了当代神经阅读理解的本质：问题的形式，这些系统的组成部分和关键成分，
以及对当前神经阅读理解系统优势和弊端的理解。
本文的第二个中心主题是，我们坚信，如果可以构建高性能的阅读理解系统，那这些系
统将是建立诸如问答和对话系统等应用的关键技术。事实上，这些语言技术已经与我们
的日常生活息息相关了。例如，我们在谷歌上搜索「有多少人在斯坦福大学工作？」（
图 1.2），谷歌将不仅返回文档列表，还会阅读这些网页文档并突出显示最可靠的答案
，并将它们展示在搜索结果的顶部。这正是阅读理解可以帮助我们的地方，使搜索引擎
变得更加智能。而且，随着数字个人助理（如 Alexa、Siri、谷歌助手或者 Cortana）
的发展，越来越多的用户通过对话和询问信息问题来使用这些设备。我们相信，构建能
够阅读和理解文本的机器也将大大提升这些个人助理的能力。
因此，如何根据神经阅读理解近期取得的成功来创建实际应用程序也是我们感兴趣的一
方面。我们探索了两个将神经阅读理解作为关键组成部分的研究方向：
开放域问答结合了来自信息检索与阅读理解的挑战，旨在回答来自网络或大型百科全书
（如维基百科）的一般性问题。
对话式问答结合了来自对话和阅读理解的挑战，解决了一段文字中的多轮问答问题，比
如用户如何与智能体互动对话。图 1.3 展示了来自 COQA 数据集 (Reddy et al.,
2019) 的一个示例。在该例子中，一个人可以基于 CNN 文章内容提出一系列相互关联
的问题。
图 2.2：论文整理了神经阅读理解中数据集（黑色）和模型（蓝色）的最新重要进展。
在这个表中，除 BERT (Devlin et al., 2018) 外，以相应论文的发表日期排序。
六年博士心路历程
在博士论文中，陈丹琦也介绍了自己博士期间的学习经历，感谢了在前进过程中给予了
她极大帮助的一批人，包括父母、老师、爱人、朋友。编译介绍了致谢中的部分内容，
让我们一窥优秀的人砥砺前行的历程：
对于我来说，在斯坦福的六年是一段难忘的宝贵经历。2012 年刚开始读博的时候，我
甚至都不能说出流利的英语（按照要求，我要在斯坦福修 5 门英语课程），对这个国
家也知之甚少，甚至从未听说过「自然语言处理」这一概念。不可思议的是，在过去的
几年里我竟然一直在做语言方面的研究，训练计算机系统理解人类语言（多数情况下是
英语），我自己也在学习用英语进行沟通、写作。同时，2012 年也是深度神经网络开
始起飞并主导几乎所有我们今天看到的人工智能应用的一年。我从一开始就见证了人工
智能的快速发展，并为即将成为这一浪潮的一份子而感到兴奋（有时是恐慌）。如果没
有那么多人的帮助和支持，我也不可能走到今天。我由衷地感谢他们。
首先要感谢的是我的导师克里斯托弗·曼宁。我刚来斯坦福的时候还不知道 Chris。直
到和他一起工作了几年、学了 NLP 之后，我才意识到自己何其荣幸，能够和这一领域
如此杰出的人才共事。他对这一领域总是充满洞察力，而且非常注重细节，还能很好地
理解问题的本质。更重要的是，Chris 是一个非常善良、体贴、乐于助人的导师。有师
如此，别无他求。他就像我的一位老友（如果他不介意我这么说的话），我可以在他面
前畅所欲言。他一直对我抱有信心，即使有时候我自己都没有自信。我一直都会对他抱
有感激，甚至现在已经开始想念他了。
除了 Chris，我还想感谢 Dan Jurafsky 和 Percy Liang——斯坦福 NLP Group 的另
外两位杰出人才————他们是我论文委员会的成员，在我的博士学习期间给予了我很
多指导和帮助。Dan 是一位非常有魅力、热情、博学的人，每次和他交谈之后我都感觉
自己的激情被点燃了。Percy 是一位超人，是所有 NLP 博士生的榜样（至少是我的榜
样）。我无法理解一个人怎么可以同时完成那么多工作，本论文的很大一部分都是以他
的研究为基础进行的。感谢 Chris、Dan 和 Percy 创建了斯坦福 NLP Group，这是我
在斯坦福的家，我很荣幸成为这个大家庭的一员。
此外，Luke Zettlemoyer 成为我的论文委员会成员也让我感到万分荣幸。本论文呈现
的工作与他的研究密切相关，我从他的论文中学到了很多东西。我期待在不远的将来与
他一起共事。
读博期间，我在微软研究院和 Facebook AI Research 获得了两份很棒的实习经历。感
谢 Kristina Toutanova、Antoine Bordes 和 Jason Weston 在实习期间给予我的指导
。我在 Facebook 的实习项目最终给了我参与 DRQA 项目的契机，也成为了本论文的一
部分。感谢微软和 Facebook 给予我奖学金。
我要感谢我的父母 Zhi Chen 和 Hongmei Wang。和这一代大多数中国学生一样，我是
家里的独生子女。我和父母的关系非常亲密，即使我们之间有着十几个小时的时差而我
每年只能挤出 2-3 周的时间来陪他们。是他们塑造了今天的我，廿载深恩，无以为报
，只希望我目前所取得的一切能够让他们感到一丝骄傲和自豪吧。
最后，在这里我要感谢俞华程对我的爱与支持（我们在这篇博士毕业论文提交之前 4
个月结婚了）。我在 15 岁时遇见了华程，从那时起我们一起经历了几乎所有的事情：
从高中的编程竞赛到清华大学美好的大学时光，然后又在 2012 年共同进入斯坦福大学
攻读计算机科学博士学位。在过去的十年里，他不仅是我的伴侣、我的同学、我最好的
朋友，也是我最钦佩的人，因为他时刻保持谦虚、聪慧、专注与努力。没有他，我就不
会来到斯坦福。没有他，我也不会获得普林斯顿的职位。感谢他为我所做的一切。
致我的父母和俞华程，感谢他们无条件的爱。 |
p*u
发帖数: 2454 | 49 重点在最后一句：15岁遇到老公，一起搞编程竞赛上清华姚班，然后一起Stanford CS
读博。我们基本可以肯定，她和老公的论文都是两人合作的成果。她现在毕业直接拿到
普林斯顿的offer，她老公却只能在哈佛做破死刀。琐男在美国真的不容易，sigh。
【在 p*u 的大作中提到】
: 【 以下文字转载自 JobHunting 讨论区 】
: 发信人: joejoejoe88 (joejoejoe88), 信区: JobHunting
: 标 题: 在中文媒体传疯了， Stanford 算法女神
: 发信站: BBS 未名空间站 (Thu Feb 28 14:09:07 2019, 美东)
: http://www.heijing.co/almosthuman2014/2019022813010089707
: 出身清华姚班，斯坦福博士毕业，她的毕业论文成了「爆款」
: 很少有人的博士论文能够成为「爆款文章」，但陈丹琦做到了。这位近日从斯坦福毕业
: 的计算机科学博士引发了人们的广泛关注。据斯坦福大学图书馆介绍，她长达 156 页
: 的毕业论文《Neural Reading Comprehension and Beyond》上传仅四天就获得了上千
: 次的阅读量，成为了斯坦福大学近十年来最热门的毕业论文之一。
|
h*i
发帖数: 3446 | 50 Skimmed the thesis because someone sent to me, not impressed.
CS
【在 p*u 的大作中提到】
: 重点在最后一句：15岁遇到老公，一起搞编程竞赛上清华姚班，然后一起Stanford CS
: 读博。我们基本可以肯定，她和老公的论文都是两人合作的成果。她现在毕业直接拿到
: 普林斯顿的offer，她老公却只能在哈佛做破死刀。琐男在美国真的不容易，sigh。
|
|
|
g****t
发帖数: 31659 | 51 假如：
（1）效果上赢不了MSFT，Amazon，goog这几家。甚至科大讯飞。
（2）方法上没有新意。
那确实不值得花时间阅读。还不如在本版瞎喷呢。
假如我做这个题目，第一要求是必须可以对论文本身进行阅读。
AI的自然语言理解系统，是consume语言的。
所以boost是验证的必须,和编译器类似。
【在 h*i 的大作中提到】
: Skimmed the thesis because someone sent to me, not impressed.
:
: CS
|
j*****w
发帖数: 1 | 52 这篇论文还没看。不过看过好些这方面的论文，绝大部分企图只用神经网络解决阅读理
解的问题，给人强行灌水上位的感觉。
都是暴力调参提高几个百分点的做法，跟真正阅读理解没有半毛钱的关系。 |
j*****w
发帖数: 1 | 53 现行的做法都是停留在文本 manipulation，然后拿个网红 QA set，claim 提升了几个
百分点，就要发论文。
阅读理解其实要比文本本身要深入得多，需要理解 underlying 文本之下的概念和常识
，加以对现实世界的理解和物理规律的掌握，做出来才有意思。 |
g****t
发帖数: 31659 | 54 你花点钱买个alexa玩一下，就不会是相同的结论了。智能音箱出货总量早就上亿。
我儿子的问答习惯都变了很多。
另外nlp open source库，质量和技术推进还是很不错的。
【在 j*****w 的大作中提到】
: 现行的做法都是停留在文本 manipulation，然后拿个网红 QA set，claim 提升了几个
: 百分点，就要发论文。
: 阅读理解其实要比文本本身要深入得多，需要理解 underlying 文本之下的概念和常识
: ，加以对现实世界的理解和物理规律的掌握，做出来才有意思。
|
j*****w
发帖数: 1 | 55 看论文，这是本质。
看效果，那是现象。
不断加大的算力和层层堆叠的 tricks 给人展示出来的 AI 对话似懂非懂的假象，不能
改变仅靠 NN 不能完成真正理解文本的问题。 |
g****t
发帖数: 31659 | 56 你可能没走过写文章，写thesis的科班生活吧？
【在 j*****w 的大作中提到】
: 看论文，这是本质。
: 看效果，那是现象。
: 不断加大的算力和层层堆叠的 tricks 给人展示出来的 AI 对话似懂非懂的假象，不能
: 改变仅靠 NN 不能完成真正理解文本的问题。
|
j*****w
发帖数: 1 | 57 你晓得 Alexa 有个 Skill Store，上面有大把 devs 给它开发各种对话模版？模版多
了，总能套一个，让你觉得它理解你说的话？
【在 g****t 的大作中提到】
: 你花点钱买个alexa玩一下，就不会是相同的结论了。智能音箱出货总量早就上亿。
: 我儿子的问答习惯都变了很多。
: 另外nlp open source库，质量和技术推进还是很不错的。
|
j*****w
发帖数: 1 | 58 这种在讨论中间撇开话题本身不谈，绕到对方身上，窥探对方的背景不是一个好习惯。
【在 g****t 的大作中提到】
: 你可能没走过写文章，写thesis的科班生活吧？
|
j*****w
发帖数: 1 | 59 Google 收购的 API.ai，年代不算久远，用的是最基本的模版技术，每一个 scenario
都要为它写一个模版。跟 Alexa 差不离。其他几个和 API.ai 类似的公司也用模版技
术。period
NLTK，Gensim，Microsoft bot framework，Stanford NLP toolkit，这些做的都是文
本的 manipulation 的工作，涉及到文本背后的概念和推理极少。 |
r****t
发帖数: 10904 | 60 Stanford NLP toolkit 和 NLTK 能比较评论下吗？
scenario
【在 j*****w 的大作中提到】
: Google 收购的 API.ai，年代不算久远，用的是最基本的模版技术，每一个 scenario
: 都要为它写一个模版。跟 Alexa 差不离。其他几个和 API.ai 类似的公司也用模版技
: 术。period
: NLTK，Gensim，Microsoft bot framework，Stanford NLP toolkit，这些做的都是文
: 本的 manipulation 的工作，涉及到文本背后的概念和推理极少。
|
|
|
j*****w
发帖数: 1 | |
g****t
发帖数: 31659 | 62 我招了个IBM以前的工程师做这一块。网上这些东西距离实际情况是很远的。确定好投
入方向然后outsource给专家可能是最好的办法。
: 看这些 Quora 问答可能有初步的了解：
: https://www.quora.com/Which-NLP-library-is-most-mature-and-
should-be-
used-by
: -a-startup-for-its-NLP-needs
: https://www.quora.com/Which-library-is-better-for-Natural-
Language-
: Processing-nlp-Stanford-Parser-and-Corenlp-NLTK-or-OpenNLP
: :)
【在 j*****w 的大作中提到】
: 看这些 Quora 问答可能有初步的了解：
: https://www.quora.com/Which-NLP-library-is-most-mature-and-should-be-used-by
: -a-startup-for-its-NLP-needs
: https://www.quora.com/Which-library-is-better-for-Natural-Language-
: Processing-nlp-Stanford-Parser-and-Corenlp-NLTK-or-OpenNLP
: :)
|
g****t
发帖数: 31659 | 63 你的“论文”二字的使用方法跟写论文当产出的老师傅不一样
。自从中国研究生扩招以来，一天不知道多少论文都是灌水出来的，怎么跟“本
质”二字联系起来了。我有点理解困难。
很抱歉让你不快。
语言很多时候很难表达人的意思。例如我讲：
“除我之外，都不是人”。恐怕没人会同意。
然而如果这句里的“我”的意思是一个holder或者指针，而非
这holder的value(= guvest)呢？很可能接受的人就会很多。
: 这种在讨论中间撇开话题本身不谈，绕到对方身上，窥探对方的背景不是
一个好
习惯。
【在 j*****w 的大作中提到】
: 看这些 Quora 问答可能有初步的了解：
: https://www.quora.com/Which-NLP-library-is-most-mature-and-should-be-used-by
: -a-startup-for-its-NLP-needs
: https://www.quora.com/Which-library-is-better-for-Natural-Language-
: Processing-nlp-Stanford-Parser-and-Corenlp-NLTK-or-OpenNLP
: :)
|
j*****w
发帖数: 1 | 64 所谓的本质是：判断这些技术是否真的有说的那么厉害，要看它的论文以它的实现方式
作为判断的基本依据。
而不是根据根据技术当下呈现出来的效果来进行 extrapolate，比如说前年 AI 是 2
岁孩子智力，去年是 3 岁孩子智力，然后 extrapolate 到再过 15 年就是成年人的智
力，这显然是错的。很多事情无法根据表象来 extrapolate。
比如 Ray Kurzweil 认为 2029 年前奇点会到，argument 是根据当时芯片晶体管数目
，辅以摩尔定律，推出 2029 年芯片的复杂可以匹配大脑，就会达到人的智力。这是一
个 false extrapolation。
个人认为，DL 在自然语言领域的天花板很低，如果不辅以其他方法，比如符号化，那
么也只能够提几个百分点，灌几篇论文罢了。
理由是，DL 在 pattern recognition 方面很有效，但是自然语言理解涉及到的不仅是
pattern recognition，还有动态操作概念和常识，这些 DL 无能为力。
未来 Alexa 如果还是完全建立在 DL 上面，那么数据量再大，也无法理解自然语言。
你永远会发现上它有时候说话像呓语。如果根据它背后的数据量 extrapolate 说数据
到了这么大，就会拥有人的智力。不存在。false extrapolation。
AI is not Artifical Intelligence, but Automated Imbecile.
大力鼓吹仅凭 DL 可以 crack 自然语言理解的说法，个人看法，只是 marketing hype
，用来为一小部分人的利益服务。比如，拉投资，谋取教职之类的。 |
m******r
发帖数: 1033 | 65 真有文化，我还搜一下什么是imbecile,
【在 j*****w 的大作中提到】
: 所谓的本质是：判断这些技术是否真的有说的那么厉害，要看它的论文以它的实现方式
: 作为判断的基本依据。
: 而不是根据根据技术当下呈现出来的效果来进行 extrapolate，比如说前年 AI 是 2
: 岁孩子智力，去年是 3 岁孩子智力，然后 extrapolate 到再过 15 年就是成年人的智
: 力，这显然是错的。很多事情无法根据表象来 extrapolate。
: 比如 Ray Kurzweil 认为 2029 年前奇点会到，argument 是根据当时芯片晶体管数目
: ，辅以摩尔定律，推出 2029 年芯片的复杂可以匹配大脑，就会达到人的智力。这是一
: 个 false extrapolation。
: 个人认为，DL 在自然语言领域的天花板很低，如果不辅以其他方法，比如符号化，那
: 么也只能够提几个百分点，灌几篇论文罢了。
|
l*******m
发帖数: 1096 | 66 还是不错的
：【 以下文字转载自 JobHunting 讨论区 】
：发信人: joejoejoe88 (joejoejoe88), 信区: JobHunting |
a****8
发帖数: 2771 | 67 技术问题技术讨论。技术论据到位了大家都信服。动不动就搬出来你被广泛应用的专利
和CTO的身份，虽然让你看起来更牛逼，但是并没有给你的技术论据加分。
【在 g****t 的大作中提到】
: 你的“论文”二字的使用方法跟写论文当产出的老师傅不一样
: 。自从中国研究生扩招以来，一天不知道多少论文都是灌水出来的，怎么跟“本
: 质”二字联系起来了。我有点理解困难。
: 很抱歉让你不快。
: 语言很多时候很难表达人的意思。例如我讲：
: “除我之外，都不是人”。恐怕没人会同意。
: 然而如果这句里的“我”的意思是一个holder或者指针，而非
: 这holder的value(= guvest)呢？很可能接受的人就会很多。
:
:
: 这种在讨论中间撇开话题本身不谈，绕到对方身上，窥探对方的背景不是
|
g****t
发帖数: 31659 | 68 我没什么技术。所以也不需要什么加分。
【在 a****8 的大作中提到】
: 技术问题技术讨论。技术论据到位了大家都信服。动不动就搬出来你被广泛应用的专利
: 和CTO的身份，虽然让你看起来更牛逼，但是并没有给你的技术论据加分。
|
C*****l
发帖数: 1 | 69 比如 Ray Kurzweil 认为 2029 年前奇点会到，argument 是根据当时芯片晶体管数目
，辅以摩尔定律，推出 2029 年芯片的复杂可以匹配大脑，就会达到人的智力。这是一
个 false extrapolation。
别的不知道，Kurzweil这个猜想肯定是错的。现在离人的智力还有十万八千里。
【在 j*****w 的大作中提到】
: 所谓的本质是：判断这些技术是否真的有说的那么厉害，要看它的论文以它的实现方式
: 作为判断的基本依据。
: 而不是根据根据技术当下呈现出来的效果来进行 extrapolate，比如说前年 AI 是 2
: 岁孩子智力，去年是 3 岁孩子智力，然后 extrapolate 到再过 15 年就是成年人的智
: 力，这显然是错的。很多事情无法根据表象来 extrapolate。
: 比如 Ray Kurzweil 认为 2029 年前奇点会到，argument 是根据当时芯片晶体管数目
: ，辅以摩尔定律，推出 2029 年芯片的复杂可以匹配大脑，就会达到人的智力。这是一
: 个 false extrapolation。
: 个人认为，DL 在自然语言领域的天花板很低，如果不辅以其他方法，比如符号化，那
: 么也只能够提几个百分点，灌几篇论文罢了。
|
C*****l
发帖数: 1 | 70 能上姚班和斯坦福，智商应该蛮高的
CS
【在 p*u 的大作中提到】
: 重点在最后一句：15岁遇到老公，一起搞编程竞赛上清华姚班，然后一起Stanford CS
: 读博。我们基本可以肯定，她和老公的论文都是两人合作的成果。她现在毕业直接拿到
: 普林斯顿的offer，她老公却只能在哈佛做破死刀。琐男在美国真的不容易，sigh。
|
|
|
d******c
发帖数: 2407 | 71 换个角度，从奥赛出来的恐怕很难有大科学家。竞赛训练的就是快速解题，优化的东西
和做研究完全不同--不是说题有问题，而是优化目标是在特定条件下的分数。
之前看了一点编程奥赛的教材，很多地方都要为了一些细节优化，很难想象经过这样训
练之后养成的习惯对科研有益。
你看她到美国之前不知道NLP，到斯坦佛之前不知道自己导师干什么的，这研究是怎么
做的？扔给一个题目就去做？有过自己思考找题目吗？
【在 C*****l 的大作中提到】
: 能上姚班和斯坦福，智商应该蛮高的
:
: CS
|
j*****w
发帖数: 1 | 72 目测这种行为 pattern 在中文社区比较常见，英文社区相对少一些。
中文社区所谓“辩论”的目的是要赢，要比谁嗓门大，资格老，更能 diss 对方。
搬一些自己也一知半解的 buzzwords 出来，仗着对方不懂；如果对方更懂，那么赶紧
转移话题，落下一句说字打错了。
要么就说老子当年咋样咋样，你新来的还得学。
搬出一些对方成本高的假设让他去实现，比如“你要按照我的说法做上半年，你就知道
为什么你错了，我对了”。
说一些天马行空的话题，跟讨论的主题 barely 相关，然后直接神秘兮兮地跳到一个貌
似高深的结论，还告诉你“跟你说你也不懂”。连 hand-waving argument 都算不上。
拉大旗作虎皮，劣根性。逻辑思维不缜密的表现。这些都没必要，辩论中都是减分项。
如果思维缜密，表达能力好，就能够 construct a solid argument。
Eloquence 的本意可不是嗓门大，而是说一方的 point 是否明确，argument 是否
solid，就够了。
【在 a****8 的大作中提到】
: 技术问题技术讨论。技术论据到位了大家都信服。动不动就搬出来你被广泛应用的专利
: 和CTO的身份，虽然让你看起来更牛逼，但是并没有给你的技术论据加分。
|
h*i
发帖数: 3446 | 73 对的。
但辩论能赢的办法其实还是一样的，比如用英文社区的辩论办法，在中文社区也是适用
的。
无论在那儿讨论，我个人的经验，是要言之有物，只参与自己懂的东西的讨论，不懂的
就不要发表意见，所谓“立于不败之地”，就是这个意思。
【在 j*****w 的大作中提到】
: 目测这种行为 pattern 在中文社区比较常见，英文社区相对少一些。
: 中文社区所谓“辩论”的目的是要赢，要比谁嗓门大，资格老，更能 diss 对方。
: 搬一些自己也一知半解的 buzzwords 出来，仗着对方不懂；如果对方更懂，那么赶紧
: 转移话题，落下一句说字打错了。
: 要么就说老子当年咋样咋样，你新来的还得学。
: 搬出一些对方成本高的假设让他去实现，比如“你要按照我的说法做上半年，你就知道
: 为什么你错了，我对了”。
: 说一些天马行空的话题，跟讨论的主题 barely 相关，然后直接神秘兮兮地跳到一个貌
: 似高深的结论，还告诉你“跟你说你也不懂”。连 hand-waving argument 都算不上。
: 拉大旗作虎皮，劣根性。逻辑思维不缜密的表现。这些都没必要，辩论中都是减分项。
|
h*i
发帖数: 3446 | 74 你这个要求有点高哦，有点以偏概全了。
其实很多人都是这样的，一开始不知道自己要研究什么，不妨碍最后成为大家。
研究这个事情，有很多偶然性。
【在 d******c 的大作中提到】
: 换个角度，从奥赛出来的恐怕很难有大科学家。竞赛训练的就是快速解题，优化的东西
: 和做研究完全不同--不是说题有问题，而是优化目标是在特定条件下的分数。
: 之前看了一点编程奥赛的教材，很多地方都要为了一些细节优化，很难想象经过这样训
: 练之后养成的习惯对科研有益。
: 你看她到美国之前不知道NLP，到斯坦佛之前不知道自己导师干什么的，这研究是怎么
: 做的？扔给一个题目就去做？有过自己思考找题目吗？
|
h*i
发帖数: 3446 | 75 Ever occurs to you that maybe, just maybe, this is exactly what "
understanding" actually is?
【在 j*****w 的大作中提到】
: 你晓得 Alexa 有个 Skill Store，上面有大把 devs 给它开发各种对话模版？模版多
: 了，总能套一个，让你觉得它理解你说的话？
|
j*****w
发帖数: 1 | 76 A lot. My answer is negative.
基于模版的对话系统跟我理解的 understanding 关系不大。也许可以在某种程度上
认为系统对某些词有一定的理解，但是对整句话理解困难。
但是如果把 understanding 的定义局限到很小的范围，then maybe，it understands
something.
【在 h*i 的大作中提到】
: Ever occurs to you that maybe, just maybe, this is exactly what "
: understanding" actually is?
|
r****t
发帖数: 10904 | 77 I think it is what understanding actually is.
【在 h*i 的大作中提到】
: Ever occurs to you that maybe, just maybe, this is exactly what "
: understanding" actually is?
|
h*i
发帖数: 3446 | 78 Why does 主流的认同 have to do with anything?
The only argument against this understanding of understanding, is the so
called "Chinese room" argument, which is not very convincing to say the
least.
understands
【在 j*****w 的大作中提到】
: A lot. My answer is negative.
: 基于模版的对话系统跟我理解的 understanding 关系不大。也许可以在某种程度上
: 认为系统对某些词有一定的理解，但是对整句话理解困难。
: 但是如果把 understanding 的定义局限到很小的范围，then maybe，it understands
: something.
|
j*****w
发帖数: 1 | 79 Because when it comes to understanding, we need to base it off of some
definition where we can have further discussion.
I don't think the "Chinese room" scenario is very convincing. Some essential
attributes/characteristics of human-level intelligence are missing ...
【在 h*i 的大作中提到】
: Why does 主流的认同 have to do with anything?
: The only argument against this understanding of understanding, is the so
: called "Chinese room" argument, which is not very convincing to say the
: least.
:
: understands
|
h*i
发帖数: 3446 | 80 Same here.
I think it is the way forward. It's working, it is a solvable problem, it's
an engineering problem, it's a resource problem, it's winning.
【在 r****t 的大作中提到】
: I think it is what understanding actually is.
|
|
|
h*i
发帖数: 3446 | 81 My definition is simple: "does it work?"
essential
【在 j*****w 的大作中提到】
: Because when it comes to understanding, we need to base it off of some
: definition where we can have further discussion.
: I don't think the "Chinese room" scenario is very convincing. Some essential
: attributes/characteristics of human-level intelligence are missing ...
|
j*****w
发帖数: 1 | 82 答案是：
Yes, it does. In a very limited and fragile fashion, lacking the flexibility
of human intelligence.
And no, once you want to go beyond that.
【在 h*i 的大作中提到】
: My definition is simple: "does it work?"
:
: essential
|
h*i
发帖数: 3446 | 83 Now we are going somewhere.
If the problem is "lacking the flexibility of human intelligence", can we
fix that?
My answer is, yes. I don't see any fundamental barrier. It's an engineering
problem. With the right tools, we can solve the problem.
Your answer is, no. But why?
flexibility
【在 j*****w 的大作中提到】
: 答案是：
: Yes, it does. In a very limited and fragile fashion, lacking the flexibility
: of human intelligence.
: And no, once you want to go beyond that.
|
j*****w
发帖数: 1 | 84 > If the problem is "lacking the flexibility of human intelligence", can we
fix that?
没见过有人能够。甚至当试图去 tackle 这个问题之前，需要先 frame the problem。
好像没有人可以 frame the problem，所以不能。这个问题的一个子问题是
epistemology，仍然处在萌芽阶段。
我不认为这已经是一个 engineering problem。这个问题尚且停留在 philosophy，还
没有成熟到 science，也没有相关的理论，更没有到 engineering 层次。
明显这个领域的 Newton 还没有出现。
engineering
【在 h*i 的大作中提到】
: Now we are going somewhere.
: If the problem is "lacking the flexibility of human intelligence", can we
: fix that?
: My answer is, yes. I don't see any fundamental barrier. It's an engineering
: problem. With the right tools, we can solve the problem.
: Your answer is, no. But why?
:
: flexibility
|
h*i
发帖数: 3446 | 85 都有something working了，为什么还是个epistemology problem? 就是个工程问题啊。
不够flexible? 看看有没有什么更flexible的东西。哦，有啊。试试看啊？
http://www.mitbbs.com/article_t/Programming/31544997.html
Science always come AFTER the engineering, not other way around.
The problem with textbook learning, is that students get the history
backwards, hence miss the whole point.
we
【在 j*****w 的大作中提到】
: > If the problem is "lacking the flexibility of human intelligence", can we
: fix that?
: 没见过有人能够。甚至当试图去 tackle 这个问题之前，需要先 frame the problem。
: 好像没有人可以 frame the problem，所以不能。这个问题的一个子问题是
: epistemology，仍然处在萌芽阶段。
: 我不认为这已经是一个 engineering problem。这个问题尚且停留在 philosophy，还
: 没有成熟到 science，也没有相关的理论，更没有到 engineering 层次。
: 明显这个领域的 Newton 还没有出现。
:
: engineering
|
j*****w
发帖数: 1 | 86 > Science always come AFTER the engineering, not other way around.
不，没有 science 理论的指导，谈不上 engineering。
也许在 Newton 之前，也有很多人做运动方面的实验什么的，那个可以叫 practice，
experimenting 之类的，但是算不上 engineering。
只有 Newton 把力学问题 frame 了以后，用数学的语言把它变成一门科学，并且用这
些理论来指导后来的 engineering，才有了后续大量的发明。
没有 Newton 的力学的 Science，绝无可能有发射火箭到火星的 engineering。
Philosophy -> Science -> Engineering -> Prototype -> Product: that's how it
typically works.
啊。
【在 h*i 的大作中提到】
: 都有something working了，为什么还是个epistemology problem? 就是个工程问题啊。
: 不够flexible? 看看有没有什么更flexible的东西。哦，有啊。试试看啊？
: http://www.mitbbs.com/article_t/Programming/31544997.html
: Science always come AFTER the engineering, not other way around.
: The problem with textbook learning, is that students get the history
: backwards, hence miss the whole point.
:
: we
|
j*****w
发帖数: 1 | 87 WIKI 关于 Engineering 的定义的第一句：
https://en.wikipedia.org/wiki/Engineering
Engineering is the application of knowledge in the form of science,
mathematics, and empirical evidence, to the innovation, design, construction
, operation and maintenance of structures, machines, materials, devices,
systems, processes, and organizations.
Science leads to engineering. Not the other way around. Period. |
h*i
发帖数: 3446 | 88 Wikipedia is just copied textbook learning.
Any serious book of history of science will say otherwise.
construction
【在 j*****w 的大作中提到】
: WIKI 关于 Engineering 的定义的第一句：
: https://en.wikipedia.org/wiki/Engineering
: Engineering is the application of knowledge in the form of science,
: mathematics, and empirical evidence, to the innovation, design, construction
: , operation and maintenance of structures, machines, materials, devices,
: systems, processes, and organizations.
: Science leads to engineering. Not the other way around. Period.
|
j*****w
发帖数: 1 | |
h*i
发帖数: 3446 | 90 完全错误的。
说个最简单的，最近的，省得远古历史说不清楚：
我们是先有飞机，才有空气动力学的。对不对？
it
【在 j*****w 的大作中提到】
: > Science always come AFTER the engineering, not other way around.
: 不，没有 science 理论的指导，谈不上 engineering。
: 也许在 Newton 之前，也有很多人做运动方面的实验什么的，那个可以叫 practice，
: experimenting 之类的，但是算不上 engineering。
: 只有 Newton 把力学问题 frame 了以后，用数学的语言把它变成一门科学，并且用这
: 些理论来指导后来的 engineering，才有了后续大量的发明。
: 没有 Newton 的力学的 Science，绝无可能有发射火箭到火星的 engineering。
: Philosophy -> Science -> Engineering -> Prototype -> Product: that's how it
: typically works.
:
|
|
|
h*i
发帖数: 3446 | 91 力学是用来干嘛的？
不是用来指导如何搬运东西的么？
那我们没有牛顿力学的时候不懂如何搬运东西么？
it
【在 j*****w 的大作中提到】
: > Science always come AFTER the engineering, not other way around.
: 不，没有 science 理论的指导，谈不上 engineering。
: 也许在 Newton 之前，也有很多人做运动方面的实验什么的，那个可以叫 practice，
: experimenting 之类的，但是算不上 engineering。
: 只有 Newton 把力学问题 frame 了以后，用数学的语言把它变成一门科学，并且用这
: 些理论来指导后来的 engineering，才有了后续大量的发明。
: 没有 Newton 的力学的 Science，绝无可能有发射火箭到火星的 engineering。
: Philosophy -> Science -> Engineering -> Prototype -> Product: that's how it
: typically works.
:
|
h*i
发帖数: 3446 | 92 这么容易就认输了么？
【在 j*****w 的大作中提到】
: 让我们结束在这个问题上的讨论。
|
C*****l
发帖数: 1 | 93 奥赛出来的牛人多了去了，陶哲轩，佩洛尔曼，舒尔茨。NLP这种东西，本身也不是很
难，不像基础数学和基础物理那样需要大量的准备知识，这个女生从博士开始学也未必
不可。
【在 d******c 的大作中提到】
: 换个角度，从奥赛出来的恐怕很难有大科学家。竞赛训练的就是快速解题，优化的东西
: 和做研究完全不同--不是说题有问题，而是优化目标是在特定条件下的分数。
: 之前看了一点编程奥赛的教材，很多地方都要为了一些细节优化，很难想象经过这样训
: 练之后养成的习惯对科研有益。
: 你看她到美国之前不知道NLP，到斯坦佛之前不知道自己导师干什么的，这研究是怎么
: 做的？扔给一个题目就去做？有过自己思考找题目吗？
|
j*****g
发帖数: 254 | |
m*****n
发帖数: 3575 | 95 不对，你自己搜搜伯努利定理
【在 h*i 的大作中提到】
: 完全错误的。
: 说个最简单的，最近的，省得远古历史说不清楚：
: 我们是先有飞机，才有空气动力学的。对不对？
:
: it
|
r***e
发帖数: 127 | 96 你还是受了传统的思想启蒙到科学革命到工业革命这条因果链叙事方式的影响。实际上
工业革命，至少是在初期，和科学思想的发展没有什么联系。蒸汽机的发明和改进和工
业革命之前的技术发明没有什么不同，只是凑巧它能应用在抽水之外的领域，使人摆脱
了对肌肉力的依赖。这些都不是在科学理论的指导下获得的。
it
【在 j*****w 的大作中提到】
: > Science always come AFTER the engineering, not other way around.
: 不，没有 science 理论的指导，谈不上 engineering。
: 也许在 Newton 之前，也有很多人做运动方面的实验什么的，那个可以叫 practice，
: experimenting 之类的，但是算不上 engineering。
: 只有 Newton 把力学问题 frame 了以后，用数学的语言把它变成一门科学，并且用这
: 些理论来指导后来的 engineering，才有了后续大量的发明。
: 没有 Newton 的力学的 Science，绝无可能有发射火箭到火星的 engineering。
: Philosophy -> Science -> Engineering -> Prototype -> Product: that's how it
: typically works.
:
|
j*****w
发帖数: 1 | 97 你仔细看一下我回复的上下文，有人说科学永远在技术后面出现，不管怎样，祝好运，
不辩论。
16-18 世纪是现代科学的发端，在科学理论系统化以后，工程得以蓬勃发展。在大多数
情况下，我不认为这有什么值得辩论的。
科学->技术这条路子在大概率下是成立的，当然钻牛角尖的话，也可以从旮旯里找出几
个不符合这个规律的个案。然而无损这个规律大概率成立。
帮你再找几个：
蜜蜂不懂科学，但是它们也可以创造六边形的结构。可以把它说成不懂科学，也能有技
术的。
原始人不懂化学，也能生火。可以把他们说成不懂科学，也能有技术的。
仅供一笑。
【在 r***e 的大作中提到】
: 你还是受了传统的思想启蒙到科学革命到工业革命这条因果链叙事方式的影响。实际上
: 工业革命，至少是在初期，和科学思想的发展没有什么联系。蒸汽机的发明和改进和工
: 业革命之前的技术发明没有什么不同，只是凑巧它能应用在抽水之外的领域，使人摆脱
: 了对肌肉力的依赖。这些都不是在科学理论的指导下获得的。
:
: it
|
m******r
发帖数: 1033 | |
j*****w
发帖数: 1 | 99 你还别说，这个问题还挺有趣的。
【在 m******r 的大作中提到】
: 先有鸡还是先有蛋？ 这事这么重要么？
|
m******r
发帖数: 1033 | 100 人性本善，还是恶 ？ 红与黑？ 黑与白？ 人类起源于非洲吗？ 人类为啥有男有女 ？
人类的未来是个啥？
这些事吧，你琢磨不明白。 可你也不用整天琢磨 因为离你太遥远。
过一天，算一天。
【在 j*****w 的大作中提到】
: 你还别说，这个问题还挺有趣的。
|
|
|
j*****w
发帖数: 1 | 101 我是说你说的鸡蛋的问题，是有符合逻辑的答案的。但是看起来像个小学生问题，所以
有趣。
跟你下面扯的这些没有关系。而且你说的下面一些问题也是有符合逻辑的答案的。
你琢磨不明白，不代表别人也是。别代表别人，别加太多的假设。
【在 m******r 的大作中提到】
: 人性本善，还是恶 ？ 红与黑？ 黑与白？ 人类起源于非洲吗？ 人类为啥有男有女 ？
: 人类的未来是个啥？
: 这些事吧，你琢磨不明白。 可你也不用整天琢磨 因为离你太遥远。
: 过一天，算一天。
|
r***e
发帖数: 127 | 102 技术的出现不依赖科学的例子太多了，农业，水利，建筑，金属冶炼，陶瓷，造纸，所
有古代的技术发明都没有现代科学的指导。
蒸汽机对于工业革命来说可不是什么旮旯里的个案。你可以找点介绍工业革命的书看看
，别找太老的。
【在 j*****w 的大作中提到】
: 你仔细看一下我回复的上下文，有人说科学永远在技术后面出现，不管怎样，祝好运，
: 不辩论。
: 16-18 世纪是现代科学的发端，在科学理论系统化以后，工程得以蓬勃发展。在大多数
: 情况下，我不认为这有什么值得辩论的。
: 科学->技术这条路子在大概率下是成立的，当然钻牛角尖的话，也可以从旮旯里找出几
: 个不符合这个规律的个案。然而无损这个规律大概率成立。
: 帮你再找几个：
: 蜜蜂不懂科学，但是它们也可以创造六边形的结构。可以把它说成不懂科学，也能有技
: 术的。
: 原始人不懂化学，也能生火。可以把他们说成不懂科学，也能有技术的。
|
j*****w
发帖数: 1 | 103 试试看晶体管，集成电路，计算机，互联网，超音速导弹，James Webb 太空望远镜，
空间站，火星探测器，GPS，核武器 ...
【在 r***e 的大作中提到】
: 技术的出现不依赖科学的例子太多了，农业，水利，建筑，金属冶炼，陶瓷，造纸，所
: 有古代的技术发明都没有现代科学的指导。
: 蒸汽机对于工业革命来说可不是什么旮旯里的个案。你可以找点介绍工业革命的书看看
: ，别找太老的。
|
j*****w
发帖数: 1 | 104 我们回到问题的原点：我回复的上下文是有人说科学永远出现在技术之后，我说错了。
因为我可以找出大量的反例。并且在现代科学理论正式建立以后，出现的技术发明，不
管数量还是难度，在 4 百年间远远超越过去的 4 千年。
这样可以结束这个话题的讨论了。
请保留你自己的观点。
我对该话题的讨论不再回复。
【在 r***e 的大作中提到】
: 技术的出现不依赖科学的例子太多了，农业，水利，建筑，金属冶炼，陶瓷，造纸，所
: 有古代的技术发明都没有现代科学的指导。
: 蒸汽机对于工业革命来说可不是什么旮旯里的个案。你可以找点介绍工业革命的书看看
: ，别找太老的。
|
r***e
发帖数: 127 | 105 我当然不否认科学理论的指导作用，但技术的产生很多时候就没有现成的指导，这样的
技术发明现今也不是凤毛麟角，比如医学领域的很多治疗手段和药物的发明。
总之在没搞清楚机理的条件下技术可以靠试错来产生。
【在 j*****w 的大作中提到】
: 试试看晶体管，集成电路，计算机，互联网，超音速导弹，James Webb 太空望远镜，
: 空间站，火星探测器，GPS，核武器 ...
|
h*i
发帖数: 3446 | 106 胡搅蛮缠。
我们最初讨论的是啥？是讨论的一个划时代的技术。我说这种技术的出现，都是在科学
（就是关于这种技术的理论）出现之前。
你举出的例子，都是incremental improvement，这些东西，当然是在科学指导下发展
的。所谓科学，说白了，就是对已有现象的理论解释。如果现象都没有，就没有科学。
我们在讨论的事情，就是连现象都还没有的，比如说，general artificial
intelligence，现在是不存在的，哪来的科学？大家都是瞎几把整，有的人运气好悟性
好，整出来了之后，自然有理论家来rationalize，搞个理论，说这就是智能的科学，
然后，以后的发展，就成了“智能科学”指导下的发展了。
这么简单一个事情都看不清楚，真是读书把脑子读坏了。
【在 j*****w 的大作中提到】
: 我们回到问题的原点：我回复的上下文是有人说科学永远出现在技术之后，我说错了。
: 因为我可以找出大量的反例。并且在现代科学理论正式建立以后，出现的技术发明，不
: 管数量还是难度，在 4 百年间远远超越过去的 4 千年。
: 这样可以结束这个话题的讨论了。
: 请保留你自己的观点。
: 我对该话题的讨论不再回复。
|
h*i
发帖数: 3446 | 107 愚不可及。
【在 j*****w 的大作中提到】
: 你仔细看一下我回复的上下文，有人说科学永远在技术后面出现，不管怎样，祝好运，
: 不辩论。
: 16-18 世纪是现代科学的发端，在科学理论系统化以后，工程得以蓬勃发展。在大多数
: 情况下，我不认为这有什么值得辩论的。
: 科学->技术这条路子在大概率下是成立的，当然钻牛角尖的话，也可以从旮旯里找出几
: 个不符合这个规律的个案。然而无损这个规律大概率成立。
: 帮你再找几个：
: 蜜蜂不懂科学，但是它们也可以创造六边形的结构。可以把它说成不懂科学，也能有技
: 术的。
: 原始人不懂化学，也能生火。可以把他们说成不懂科学，也能有技术的。
|
j*****w
发帖数: 1 | 108 嘴巴真臭，脑子有屎。
【在 h*i 的大作中提到】
: 胡搅蛮缠。
: 我们最初讨论的是啥？是讨论的一个划时代的技术。我说这种技术的出现，都是在科学
: （就是关于这种技术的理论）出现之前。
: 你举出的例子，都是incremental improvement，这些东西，当然是在科学指导下发展
: 的。所谓科学，说白了，就是对已有现象的理论解释。如果现象都没有，就没有科学。
: 我们在讨论的事情，就是连现象都还没有的，比如说，general artificial
: intelligence，现在是不存在的，哪来的科学？大家都是瞎几把整，有的人运气好悟性
: 好，整出来了之后，自然有理论家来rationalize，搞个理论，说这就是智能的科学，
: 然后，以后的发展，就成了“智能科学”指导下的发展了。
: 这么简单一个事情都看不清楚，真是读书把脑子读坏了。
|
j*****w
发帖数: 1 | 109 主动口头攻击就是 SB。
【在 h*i 的大作中提到】
: 愚不可及。
|
h*i
发帖数: 3446 | 110 哈哈，装不下去了吧？真面目这么快就出来了。
哈哈。就知道你是个什么货色。早就看你装模装样不顺眼了。
【在 j*****w 的大作中提到】
: 嘴巴真臭，脑子有屎。
|
|
|
h*i
发帖数: 3446 | 111 你说的话就两种：
1. 教科书复读机
2. 骂街
思维非常贫乏，用三个字总结：没文化。
当然也不仅仅是你了，这是目前大多数中国人的问题，就是“博士了，博导了，还是没
有文化。”
【在 j*****w 的大作中提到】
: 主动口头攻击就是 SB。
|
x**********i
发帖数: 658 | 112 我感觉人类的语言也挺像套模版呢。说的话，怎么理解他的的意思，本质上是概率吧？
我相信如果有一个DL 模型，假如能让他跟踪一个人的说话，然后不断训练，其实是能
够达到“understanding”吧
understands
【在 j*****w 的大作中提到】
: A lot. My answer is negative.
: 基于模版的对话系统跟我理解的 understanding 关系不大。也许可以在某种程度上
: 认为系统对某些词有一定的理解，但是对整句话理解困难。
: 但是如果把 understanding 的定义局限到很小的范围，then maybe，it understands
: something.
|
C*****l
发帖数: 1 | 113 达不到，首先就是“我”这种本体概念，机器能理解我么，现在的机器肯定不行。“我
”这种概念很可能是植入人体的先天概念，还有空间，颜色等等。就好像我们没法直观
理解红外和紫外的颜色，没法直观理解高于3纬的空间。西方有一大票哲学家语言学家
，康德乔姆斯基，持这种观点
【在 x**********i 的大作中提到】
: 我感觉人类的语言也挺像套模版呢。说的话，怎么理解他的的意思，本质上是概率吧？
: 我相信如果有一个DL 模型，假如能让他跟踪一个人的说话，然后不断训练，其实是能
: 够达到“understanding”吧
:
: understands
|
r****t
发帖数: 10904 | 114 当然先有蛋了，恐龙蛋肯定在第一只鸡之前出现。
【在 m******r 的大作中提到】
: 先有鸡还是先有蛋？ 这事这么重要么？
|
R******e
发帖数: 623 | 115 她那导师Manning虽然在NLP解大名鼎鼎，但都是一些琐碎的问题。以她出身姚班而跟
Manning做，还做自然语言理解，就知道做不出啥来，无非那DNN捯饬一番，还算法女神
，就不知道DNN跟算法离得最远吗？
【在 j*****w 的大作中提到】
: 这篇论文还没看。不过看过好些这方面的论文，绝大部分企图只用神经网络解决阅读理
: 解的问题，给人强行灌水上位的感觉。
: 都是暴力调参提高几个百分点的做法，跟真正阅读理解没有半毛钱的关系。
|
