计划R：基于ASIC的AI安全

2026年我们在人工智能领域看到的许多文明级风险，都源于以下组合：我们创建了一个单一的机构（即“前沿人工智能公司”（Frontier AI Company）），它具备两个特性：A. 它旨在创造非常强大且/或能够自我复制的实体，这些实体可能会超越整个其余文明的能力，并伴随着巨大的风险。B. 它获得了对由此产生的剩余价值的无限财务索取权。

所有关于人工智能、人工智能对齐（AI alignment）等的技术性内容，都可以归纳到上面的第（A）点。我的观点是，仅具备第（A）点而没有第（B）点，可能问题不大。核技术和生物武器技术都近似于（A），它们基本没出大问题，因为没有了（B），掌控它们的人就没有动机去在安全性上铤而走险。但对于前沿人工智能公司，我们将这两者融合在了一起。

这篇文章的核心论点是：我们或许只需将记账方式、实体足迹和机构进行分离，确保没有单一组织同时具备这两个特性，就能消除绝大部分的人工智能风险，而无需做其他事情。再加上ASICs（专用集成电路）的一些帮助，我们也许还能拥有一个极具生产力的人工智能产业，并且能够切实带来人工智能的大部分好处。没有无谓的等待暂停，没有“禁止人工智能”等。

一个典型的人工智能灾难场景目前看起来是这样的（例如Daniel Kokotajlo所描绘的）：

人工智能公司建立大量算力并进行研究，来自人类经济的商品和服务不断流入。

人类经济主要获得借条作为回报（“股票”（Stock））。

人工智能公司受到激励，尽可能快地推进，以便能够卖出更多借条。

人工智能公司和/或其领先模型（未对齐的）接管了世界。

借条不再被兑现，因为现在未对齐的超级智能比理应强制执行借条的机制更加强大。

所有人死亡，剧终。

显然，人类在允许人工智能公司向他们出具借条时犯了个错误。但一旦有了股票、银行业务、货币等系统，允许人们向你出具借条就是默认的惯例，很难阻止。

因此，我是这样将这两者分离的。创建两种新型实体：

(1) - 人工智能研发（AI R&D）组织。

(2) - 人工智能部署公司。

人工智能研发组织将负责所有涉及训练、蒸馏、测试和对齐前沿人工智能模型的工作。它们将受到严厉的法律限制，且无法发行股权。也许它们可以获得债务融资，我还需要对此进行更多思考。

人工智能部署公司将负责所有面向消费者的事情，或者B2B业务。它们将大规模运行推理。它们将处理UI/UX（用户界面/用户体验），以及任何不需要梯度下降（gradient descent）的事情，因此它们可以将人工智能智能体（AI agents）组织成群集、连接数据库等。一些人工智能部署公司可以直接向消费者销售人工智能硬件，或者将其整合到机器人和笔记本电脑中。

AI 部署公司可以发行股权，并会向 AI 研发组织支付模型费用。此外值得注意的是：这些 AI 部署公司可能会通过网页界面或机器人客户数据，掌握大量关于现实世界和真实人群的私密知识。

AI 研发组织则被禁止拥有此类数据。这使得 AI 研发组织从整体上发动全球 AI 接管变得困难得多，因为该组织根本不具备这种唾手可得的、用于勒索和刺探情报的“金矿”。幸运的是，AI 的底层技术允许我们在硬件层面强制执行这种区分——AI 研发组织将在一个模型上工作，一旦完成并通过了我们认为必要的评估，就会将其烧录进 ASIC。

这将是一种固定功能的 ASIC，其物理电路实现特定的模型，就像人类大脑的物理连接实现人类意识一样。它将具有特定的输入输出类型，例如文本输入/文本输出，或视频输入/电机控制输出。该 ASIC 将生产一定数量 R 的运行单元，然后进行销售。

随后，该模型将被删除或加密，不再允许在 AI 研发组织中运行。在最极端的情况下，人们可以尝试将运行规模设定为 R=1 或某个小的整数。但我设想的是运行规模为数十万或数百万。所有存在于 AI 研发组织之外的高规格计算都将以 ASIC 的形式存在。

因此，整个类别的 AI 风险将不复存在。流氓 AI 无法捕获计算能力过剩。它只能受困于 CPU，或者可能是 GPU（尽管也许有办法改变 GPU 的工作方式，使其无法运行 AI 模型——这里还有更多内容要讨论）。

AI 研发组织将拥有一个隔离的、高安全性的边界，包含其通用 GPU/TPU 计算，并与包括其自身研究楼层在内的外部世界建立物理强制的多小时延迟连接。这种物理强制的延迟是以一种不可能在少于 12 小时内（即使你想）获取数据的方式实现的。

这意味着正在接受训练的模型没有通往现实世界的低延迟通道，这严重限制了它们造成的损害，包括最近 Hugging Face 黑客攻击之类的事件。除了这些 AI 研发组织不拥有股权外，它们还将受到一定程度的异常审查。

也许不是完全的研究透明度，但这也在考虑范围内。例如，它们可能有强制性的只写一次日志。它们在物理层面上应该完全断开互联网连接——甚至研究楼层也没有互联网。训练期间可能有关于可以做什么和不能做什么的规定。

可能还有其他技术或系统来监管危险的 AI 工作。无论是什么，都放在这里。AI 部署组织继续按照硅谷的规则运行。快速行动，打破常规。

. AI 研发组织就像核武器实验室与全球系统重要性银行（G-SIB）的混合体。递归自我改进呢？一个可能有助于严重削弱这种风险的简单规则是：AI 研发组织不被允许使用自己的模型——既不允许使用运行在通用计算上的版本，也不允许使用用于销售的 ASIC。

但它们可以使用来自其他 AI 研发组织的 ASIC。这就是“反狗食”——你不被允许吃自己的狗粮。这将允许人类整体递归改进其 AI 技术基础，尽管当然，每一次迭代都会受到新模型认证速度和 ASIC 制造速度的限制。

但这将防止任何一家 AI 公司独自“走向核爆”，因为其研究基础只被允许使用来自其他公司的 AI ASIC——而这些 ASIC 在法律上也必须向公众开放。因此，如果一家 AI 研发组织领先，其他公司较弱的 ASIC 将会拖慢它的步伐。

在这个系统中，没有任何实体能够对奇点拥有无限制的金融索取权。但 AI 部署公司仍然可以使用这些 AI ASIC 来从事有用的工作。AI 并未被禁止。你仍然可以有 ChatGPT——它只是由 ASIC 提供服务。

人们仍然可以尝试治愈癌症和衰老。机器人仍然可以拥有 AI 大脑，无论是本地还是远程。我们仍然可以将 AI 用于军事应用。但在硬件层面，推理和训练之间存在非常强的分离。ASIC 无法计算梯度，因此它们无法进行训练。

它们无法更改正在运行的模型，因此无法被流氓 AI 接管。AI 研发组织内部的风险降低了，因为模型 X 不能被用来帮助训练模型 X+1。你必须使用别人的模型。为了额外的安全性，AI 研发实验室对 ASIC 的采用可以滞后——也就是说，一个 ASIC 必须先在多种现实世界任务上工作比如说 3 个月，才能被考虑用于 AI 研发组织。这应该有望增加安全性，因为现实世界的使用允许一串 ASIC 收集记录，并且这将把