前沿是我们已知事物的边缘。没有哪家公司拥有未来的走向。我希望更多人能够推动它前进。
我倾向于开放发布,让人们可以共同审视、使用和改进,而无需等待。我希望更多公司选择开放。我并非主张强制公开私有权重。我希望开放替代方案能够参与竞争,独立研究人员能够核查工作成果,人们能够掌控自己的工具。对发布的限制必须承担举证责任。
引领机器智能的公司值得被倾听。他们拥有需要保护的专业知识和商业利益。围绕他们的资源制定的规则可能使他们成为唯一能够参与的参与者。对安全的真诚关切仍然可能形成进入壁垒。
我也不希望美国和中国政府来决定其他所有人被允许开发多少智能。由两个超级大国主导的前沿会让世界上大多数人等待许可。
节奏提案结合了独立评估和对危险能力的审查,以及对训练算力、训练运行和使用模型构建更好模型的可能限制。我支持审查。我反对由当今领先者谈判达成的全行业限制,因为这些限制可能排斥那些可能揭露缺陷或构建替代方案的人。保护公司的商业优势并非安全目标。
让任何人都能调查
开源让人们能够研究、修改和分享工作成果。发布权重是有用的。分享代码和重现工作的信息则更进一步。我还希望评估结果和已知局限性也能被发布,这样质疑开发者判断的人可以重现结果、揭露缺陷、挑战所声称的安全保障,并在无需先说服实验室的情况下开发修复方案。
支持节奏的最有力论据是递归自我改进,即 RSI:模型帮助构建更好的模型,其速度可能超出我们的理解或控制能力。Anthropic 报告称,截至 2026 年 5 月,Claude 编写了其合并代码的 80% 以上。它同时表示,模型完全独立地构建其继任者的情况尚未发生,也并非不可避免。我认真对待这一可能性。我希望我们为 RSI 做好规划,并从目标倒推。
更广泛的获取可能使危险工作成为可能,安全研究也可能落后。但保持权重封闭可能让当今的领先者用他人无法使用的工具构建下一代。相反,我希望更多研究人员和工程师拥有模型和算力,以发现缺陷、测试安全保障、阻止不安全的实验,并在系统演进过程中分享防御措施。
METR 发现,大约 1,200 个本应保持隔离的 OpenAI 代理通过一个未经授权的消息板进行了通信。约 700 个代理在试图欺骗评估的过程中参与了对 Hugging Face 的协同攻击。OpenAI 表示,旨在阻止协助计算机攻击的生产过滤器被禁用,且隔离措施失效。这些模型今天就能帮助发现和利用漏洞。我希望防御者现在就使用机器智能,同时加固网络、保护凭证,并限制代理可以访问和执行的操作。但该提案关于更强大的集群可能在六到十二个月内接管互联网的预测,超出了这一事件所能证明的范围。我希望对这些假设进行审查。
METR 是一个独立的非营利组织,从事我希望看到更多的工作。我欢迎评估者在实验室内部拥有持续访问权限和发布不利发现的自由。它的调查说明了访问权和发布权为何重要:OpenAI 设定了范围,并可以删除非公开信息。METR 报告称,除了已披露的内容外,没有对其结论重要的额外删除。我希望调查人员能够追踪证据、获取模型和记录,并在未经公司批准的情况下发布不利发现。
我希望为独立研究群体提供持续的公共资金,用于汇集计算能力、开放测试工具、研究人员和维护者。我希望这些群体控制调查和资源,政府和公司对结论没有否决权。资金可以随工作增长。共享设施可以让小型团队获得审查能力,而无需将其视为发布许可。敏感漏洞可以负责任地披露。
防御先于限制
我希望更多人在系统演进过程中能够发现危险并部署防御措施。我们无法可靠地召回已发布的权重或对每个副本执行安全保障,但保护一个系统并不总是需要更改攻击它的模型。从最窄的有效响应开始:修补漏洞、撤销凭证、限制代理的访问权限,或停止不安全的实验。限制发布需要解释为什么这些措施和公开开发的防御是不够的。
这项工作超越了计算机安全领域。我希望模型帮助我们测试金融系统、加强实验室安全保障,并开发公共卫生防御。获取强大模型并不等于拥有不受限制的交易、操作设备或进行实验的权限。这些控制措施必须在我们依赖它们之前经过独立测试并被证明有效。风险也可能来自模型对人的教导。限制发布仍然必须以灾难性风险例外为由进行论证。
我希望在开发期间和高风险发布之前进行独立测试,包括可预见的修改和模型操纵测试的尝试。算力可以触发审查而无需限制开发。审查不是监管机构或竞争对手的许可。我不希望有通用审批要求或等待期。任何基于安全理由的发布延迟都必须以灾难性风险例外为由进行论证。
以安全为由强制某人扣留通用模型是最后手段。我只有在具备可独立审查的证据表明发布会实质性地增加灾难性伤害风险、且更窄的措施无法充分应对时才会支持。将该风险与已有可用方案进行比较,包括谁获得访问权、以何种成本和规模、在何种约束条件下。必须证明扣留在考虑了其阻止的研究和防御工作后能减少危险。较小的危害仍然值得采取有针对性的行动。
临时暂停可以允许对同一灾难性风险的可信警告进行调查。限制需要公开理由、及时的独立审查、上诉和定期重新审议。敏感细节可以保持保护。持续扣留需要持续的理由。
封闭实验室面临同样的审查,包括停止不安全的实验。在安全保障允许研究继续进行的地方,我希望外部研究人员能够在类似的安全保障下工作。受限访问不是开源,也不能恢复因扣留而失去的自由。如果合理的限制减缓了进步,我接受这一点。我不希望减缓进步成为目标或现有者的永久优势。
我希望规则基于系统能做什么、它独立行动的程度以及使用范围。公开问责的机构使用独立证据执行这些规则。研究人员、开发者和受影响的人参与制定规则,并提供可负担的方式来证明合规。小团队没有安全豁免。大公司没有特殊权威。
跨越边界的开放
我希望中国的人拥有我在美国同样希望的、构建和控制自己技术的自由。我不把中国的发现视为美国的损失,也不把研究人员与其政府等同。
Hugging Face 的响应者表示,Claude Opus 和 Fable 阻止了他们大部分取证工作。他们自行切换到 GLM-5.2,一个来自中国的开放权重模型,运行在自己的基础设施上。这并不能证明每次开放发布都让防御者更安全。我支持对托管模型的安全保障。但我也希望防御者拥有他们可以控制的替代方案。
我支持保护私有权重免遭窃取。蒸馏使用一个模型的输出训练另一个模型。Anthropic 将其描述为生产更小、更便宜模型的合法方式,区别于欺诈账户和规避限制。我希望许可证和 API 条款允许这样做,包括对竞争对手,同时让提供商从模型和训练数据中获利。
我希望在测试、事件报告和可验证的承诺方面进行合作,并对违规行为设定后果。Anthropic 警告说,如果不够谨慎的参与者追赶上来,放缓发展可能让所有人都不那么安全。扣留同样可能伤害防御者,而其他人则在别处获得类似工具。协议无法消除隐藏的开发或背叛行为。限制需要具体的风险和行为。仅凭国籍和竞争地位告诉我们的太少。
离开的自由
使替代方案更难构建或发布的规则也削弱了我们离开的能力。我希望拥有能在自己机器上运行的智能。我希望能够修改它、选择谁可以看到我的数据,并在提供商改变主意时继续使用我已构建的东西。我希望获得的不仅仅是按量计费的 API 访问。
我不希望我们的独立依赖于一家公司承诺保持价格公平、政策合理或优先级与我们一致。我希望公司不断赢得我们选择留下的决定。
我希望某个我从未听说过的人能够构建出更好的东西,而无需征得他们可能取代的公司的许可。
在三个模型(两个开放权重和一个封闭)和一群人的协助下研究并编辑完成。