Ilya Sutskever · Sequence to Sequence: What a Decade
原文入口：https://www.youtube.com/watch?v=1yvBqasHLZs 辅助来源：NeurIPS 2024 Test of Time 公告与后续英文 transcript 中译情况：暂无权威中译 发布日期：2024-12-13 作者：Ilya Sutskever
一句话本质
Ilya 用“十年回看”的方式提醒所有人：预训练不是永动机，数据不是无限的，下一阶段更像 agentic + reasoning，而不是继续把同一条路无止境放大。
为什么值得读
这篇的分量在于它不是论文，而是一个很少公开发声的人，对整个 AI 路线的判断。读完以后，你会更清楚为什么“只靠预训练继续堆大”已经不足以回答下一阶段的问题。
这篇主要在回答什么问题
- 为什么 Ilya 认为 pre-training 的时代会结束？
- 数据、算力、推理、agentic 系统之间的关系是什么？
- 下一阶段的 AI 为什么更像 reasoning / agent，而不是单纯的更大模型？
和 AIBuilder 的串读
适合谁先读 / 谁可以后读
先读：想理解“下一阶段 AI 会往哪走”的读者。
后读：已经知道 Transformer 和 scaling law，但还没把“数据上限”和“agentic 转向”放在同一张图里的人。