翻遍 OpenAI 早期的内部邮件，没人预料到 GPT 会出现

2017 年 6 月 12 日晚上 10 点 39 分，Ilya Sutskever 给 Greg Brockman 和 Elon Musk 发了一封双周汇报邮件。

这是 OpenAI 内部第一封正式的双周更新。Ilya 列了五块进展：算力使用、Dota 1v1、新游戏的快速学习、机器人手、自博弈。每一块都给了具体数字和 YouTube 视频链接，证明实验不是吹牛。Dota 那一段他写道：”这是一个相当 clever 的操作。”附了一个视频链接——为了让金主点开看一眼。

整封邮件四千多字，没有一处提到语言模型。

把这封邮件和后面两年所有的汇报、所有的融资文档、所有的路线图放在一起读，会得到一个挺反直觉的结论：真正改变世界的那条路径，从头到尾不在他们的视野里。

旧档案中的第一封邮件

他们当时押注的是机器人和 Dota

押注机器人与 Dota

2017 年 7 月 12 日，Ilya 又写了一封长信，标题叫《The Business of Building AGI》。这封邮件是 OpenAI 早期最重要的战略文件之一，也是教科书级别的”要钱信”。

Ilya 先铺垫历史：过去五年的进展证明，神经网络这个最早期最简单的想法一直是对的，只是硬件不够。然后给数据：Google Brain 大约 10 万张 GPU，FAIR 1.5 到 2 万张，DeepMind 每个研究员配 50 张。OpenAI 600 张。

接着他给出未来三年的预测：

三年内，机器人应该被完全解决，AI 应该证明一个长期未解的数学定理，编程竞赛应该被 AI 稳定拿下，应该出现有说服力的聊天机器人（虽然没人能通过图灵测试）。

四年内，他写道，每次过夜实验的算力会大到醒来时可能撞上 AGI——前提是同时找到正确的算法（他估计还要 2 到 4 年）。

然后是要钱清单：GPU 集群从 600 张扩到 5000 张，capex 1200 万美元，opex 一年 500 到 600 万。人员从 55 人扩到 200 人。

整封邮件里，”language” 这个词出现了零次。”chatbot” 出现一次，是预测里的”有说服力的聊天机器人”——和”机器人完全解决”并列，且排在更靠后的位置。

赌注一直在升高

赌注升高 —— Musk 的施压邮件

2018 年 1 月 31 日，Andrej Karpathy 给 Musk 转发了一张 ICLR 投稿统计图。Google 83 篇，OpenAI 几乎看不见。

Musk 当天就回邮件给 Greg、Ilya 和 Sam：”OpenAI 正走向相对于 Google 的确定失败。要么有立刻的、戏剧性的行动，要么除了 Google 所有人都将沦为无关紧要。”

这种压力在邮件里反复出现。2016 年 2 月，Musk 写道：”DeepMind 创造 AGI 的概率每年都在上升。两三年内可能到不了 50%，但很可能超过 10%。” 他给团队下了 6 到 9 个月内必须做出”足够重要”成果的死线。2018 年 12 月 26 日，Musk 把话说得更绝：

我对 OpenAI 在没有戏剧性的执行和资源变化下还能与 DeepMind/Google 相关的概率评估是 0%。不是 1%，是 0%。

而这两年间，OpenAI 把资源投在了哪里？

Dota 5v5。机器人手解魔方。自博弈。

2018 年 4 月，Shivon Zilis 给 Musk 的更新里写道：Dota 5v5 比预期好，”内部有人开始担心 AGI 时间线比之前想的更近”——因为 Dota 机器人涨得快。

到了 2018 年 12 月 17 日，Sam Altman 给 Musk 写年终汇报。前三段全是 Dota、机器人手、多智能体环境。

然后第四段，他用一种近乎客气的语气提了一句：

我们在语言上也进展很快。我希望明年我们能生成短篇故事和一个不错的对话机器人（dialogue bot）。

希望。短篇故事。一个不错的对话机器人。

九个月后，GPT-2 发布。

真正的东西是被一笔带过的

被一笔带过的主角

把 Sam 这句话放回上下文里看，它出现在第四段，长度三行，没有附带任何资源诉求、任何里程碑、任何竞争对手对比。在同一封邮件里，Dota 锦标赛被规划得极其具体——”Q1 办一场最终锦标赛，任何愿意来的职业战队都能参加大奖赛，之后宣告 model-free RL 完成”。

也就是说，OpenAI 自己的 CEO 在自己的年终汇报里，把语言模型当成了一个 side project。他用的措辞是”希望”和”不错”，不是”我们正在做的最重要的事”。

更值得注意的是 Musk 的回复。整整一行：

Sounds good

没有追问，没有兴奋，没有”语言这块要不要加资源”。因为对 Musk 来说，OpenAI 正在路径上的核心问题是输给 Google，对策是 Tesla AI 和算力。语言模型连进入议题的资格都没有。

把这两年的所有路线图叠在一起：Ilya 2017 年 7 月预测的三年里程碑、Sam 2018 年底的项目清单、Musk 2018 年 12 月对失败概率的判断、2019 年 3 月 capped-profit 公告里强调的”在强化学习、机器人和语言上的突破”——语言永远排在最后，永远是补充说明。

而 GPT-2 是 2019 年 2 月发布的。距离 Sam 写”希望明年能生成短篇故事”，过了不到两个月。

没有人预料到

读完这一千多页邮件，最让我意外的不是 Musk 和 Sam 翻脸，不是 capped-profit 结构怎么设计出来的，不是早期工资单上 Ian Goodfellow 和 Andrew Tulloch 的薪水。

是这件事：OpenAI 早期最聪明的几个人，每两周写一次进展，每年写一份战略，连续三年，没有任何一份文件把语言模型当成主线。

他们押注的方向并不愚蠢——自博弈、多智能体、机器人操作、对抗样本防御，每一条都是 2017 年深度学习的合理路径。Ilya 在《The Business of Building AGI》里说硬件决定一切，这个判断后来被证明完全正确。但他认为硬件会用在多智能体竞争的模拟环境里，让一群智能体互相博弈出超人智能。

结果硬件用在了把维基百科塞进 Transformer 里。

创新总在边缘处。疯狂总在预期外。