要以最快的速度慢下来。Anthropic 的 Dario 最近的一篇 We Must Pace the Frontier 把这种拧巴逻辑推到了高点，然后奥特曼，马老板，哈萨比斯等都出来说对对对。当然，不少有独立观点的大牛说这又是恐吓营销，鼓吹“末日论”，指出观点还是那个，并没有什么新事实新证据，无需较真。更有甚者从商业策略或者偏阴谋论的角度去揶揄，这些说要慢下来的都是为了 IPO 做准备，为了圈更多的钱，为了用政府管制来拖慢小公司，来挡住开源模型的发展。
很多都是大牛，都是有识之士，我愿意相信钱对于他们的公司或者雄心很重要，但绝不是他们的终极考虑，尤其是那些前沿实验室里面的研究员，对于他们，如果有机会能证明自己很在意的一个猜想是对的行得通的，拿一个亿跟他们换，他们都未必肯换。几年前 GPT 刚出来的时候，我为了想要看看我公司的项目的一个自己的想法是不是走的通，自己掏腰包去试，因为不试一下我晚上睡不着。
好了，铺垫完了。我想说的是，我觉得：人为的慢下来对安全有帮助的说法，逻辑上说不通。
把 Dario 文章给 Claude 过一遍，提示词是“指出文章中所有逻辑漏洞”，就能轻松拿到一个列表。
例如：文章同时要求能力增长与安全相匹配，以及减速不能损失对中国的领先。
可以用一个假设检验：安全研究需要两年，而领先中国优势只能容许放慢半年。那么半年之后怎么办？
继续等待：违反保持领先的要求。
继续推进：违反必须安全的要求。
再如：文章认为，有望迫使非美国前沿实验室慢下来的第一个重要步骤，就是不让他们拿到强大的 AI 芯片。但同时又没有论证为什么，美国前沿实验室慢下来的第一个重要步骤，又并不能是不让他们拿到强大的 AI 芯片。
公平的说，Dario 在文章里的确提出，就算美国的实验室，也可以考虑限制训练算力、训练方式以及内部使用 AI 改进 AI。但如果真的相信对减速有效，为什么不是重要步骤的第一条，而只是考虑。
其实，对于美国还是其他国家的实验室，在模型研究和安全研究两条路上，在同一个实验室里，算力基本就是零和博弈。如果没有足够的算力但又想更多的投入模型研究，就只能牺牲安全研究算力。你卖不卖芯片改变不了这个零和的本质。明知道对方在拼命追赶，还限制对方的算力，其实是变相的逼迫对方放弃安全研究，道理就是这么简单，连囚徒困境都不算是。
最后一个逻辑漏洞，是最致命的。以上的漏洞可以说是文章观点或者叙事的逻辑漏洞，但以下这个是 AI 发展层面的数学上的一个无解：递归式自我改进（recursive self-improvement，RSI）是指数于时间的，而人类的学习和思考是线性于时间的。
Dario 的文章开头我是完全同意的，今年开始 AI 越来越能够参与开发下一代 AI，递归式自我改进从理论步入实践，而且还已经证明这是未来的方向。我极端的认为，让 AI 去递归式自我改进，是任何学科领域未来唯一值得发展的方向。
千百年来，人类发明了不少东西，然而，这些东西，它们可以被使用，甚至辅助人类去发明新东西，但并不能完全自主的去发明其他东西。现在，人类历史第一次，有一个叫 AI 的东西，可以自主发明其他东西。
但可怕的是，一旦开启了递归式自我改进，人类的理解能力就因理解需要时间而开始掉队了。昨天，全球25位菲尔兹奖得主，对外发布了一份联合声明，数学领域中人工智能的严重失衡，大意是人类数学家没有足够的时间去消化理解 AI “发明”的数学成果。数学家都深知一条指数的曲线是可以很陡峭的。
“递归”描述反馈关系，“递归式自我改进”这个机制本身，不能保证增长一定是曲线，或者一定是最终超过任何固定斜率的直线的曲线，而且可能因领域而不同。但从当前的几个已经应用递归式自我改进的领域，能力提升能够持续加快下一轮改进，且这种反馈没有被收益递减和资源瓶颈抵消，发展不与时间成线性关系是很明显的。
我的看法是：除非有办法全球禁止使用 AI 递归式自我改进，也就是增长速度本身不增长，否则无论如何去人为的减慢，就是螳臂当车，就是一厢情愿，就是不尊重数学。
我认同的：
- AI 发展会继续加速
- AI 安全是个大问题
- AI 应该尽人力所能的速度尽快发展
- 已经发现的安全问题要尽快修补
- AI 递归式自我改进这个潘多拉盒子已经打开了
- 在 AI 持续指数增长，人类理解持续线性增长下，有限期减速无法永久维持人类理解领先。因此，如果减速方案的安全基础是“让人类始终理解并跟上 AI”，它最终必然失效。
我不认同的：
- 有一个公司或者有一个国家的人是最适合去为人类决定 AI 的发展速度的
- 有人知道 AI 发展多慢才是安全的
- 慢就是更安全的
我希望的：
- 人的大脑思考速度，因某种科技突破，能超越线性于时间
- 人类作为一个整体，最终会有办法应对（这算我的一种信仰，无法也无须证明）
另外吐槽一下，Dario 文中的“驻场评估机构”的想法，不就是 OpenAI 的雏形吗？行得通早就行了。不过看样子 OpenAI 也会很快跟进这一步。有时候我还真的不得不佩服这些老大们，理想主义下的各种拧巴但依然保持理想。
最后，神话里，疾病辛劳痛苦灾祸都飞出来之后，潘多拉最后吓得赶紧关上了盒子，只有一样东西来不及在关起来之前飞出，那就是“希望”。既然已经打开了，连关上都未必就一定会更好，慢点打开就一定会更好吗？
