超级智能、奇点、通用人工智能（AGI），无论你怎么称呼它，那个我们如此害怕的东西，讽刺的是，也极有可能是我们根本无法预见其到来的那个东西。
这篇文章可能会是一个相当尖锐的观点，但我即将与你分享的想法绝对会让你大开眼界。
跟紧我，让我们一起跳进这个兔子洞。
在此之前，让我用最近流传的新闻来为我即将分享的内容作证。比如 Anthropic 首席执行官 Dario Amodei 说“AI 群体可能会接管整个互联网”。
我想当我说“孩子们”时，你已经明白我在暗示什么了。
对吧？对吧？！？！？
1936年，一位名叫 Alan Turing 的著名英国数学家写了一篇相当重要的论文，探讨了一台可以模拟任何其他机器的假想机器。在那篇论文中，他试图回答一个关于逻辑的问题。
我们今天所熟知的“计算机”，实际上正是那篇论文的意外副产品。
如果你回顾历史，过去一百年里几乎每一项重要技术的发明方式都如出一辙。互联网起初是冷战时期的通信实验。青霉素则是一个被污染的培养皿。
事实是，当下一次范式转换出现时，没有人会主动在地平线上搜寻它，它只是简单地从侧门华尔兹般地溜进来。
我提出这一点是因为现在，我读到的每一篇文章、听到的每一个关于“AI 的未来”的播客，都指向同一扇正门。那扇门后总是某种版本的“一个巨大的模型醒来，决定把我们变成回形针”。
我想提出一个不同的未来。
因为我一直在想：如果“AGI”根本不是我们以为的那样呢？
如果我们正在积极孕育的东西，看起来并不像 HAL 9000 或 Skynet，或者某个在沙漠中央一堆水冷 GPU 顶部奴役人类的主权机器神呢。
如果它根本没有名字呢？如果它没有服务器呢？还有最可怕的假设……如果它已经在这里了，碎成上百万个小碎片，而我们唯一没有认出它的原因，是因为我们在过去十年里一直期待着某种“单一”的东西呢？
我昨天刚看到这个帖子。
这几乎总结了我们的前进方向。
我想仔细地引导你了解这一切，因为这篇文章最后的结论是那种一旦想过就再也无法从脑海中抹去的东西。
所以慢下来，泡杯茶，把手机放在房间另一头，好好读读这篇文章。
我保证你很快就会明白为什么我无法停止思考这件事。
I – 智能从未需要寄居在单一的大脑中
“单个神经元并不智能，大脑才是。” ——这句话应该刻在每一个 AI 实验室的门楣上
首先要理解的是，就我们今天所掌握的所有例子来看，智能其实并不是一个实体。它是一种行为。当足够多微小而愚笨的单元以正确的方式连接在一起时，它就会涌现出来。
你的大脑大约有 860 亿个神经元。
没有一个神经元是有意识的，也没有一个神经元“知道”任何东西。
单个神经元是一个微小的电化学继电器，只说二进制语言。它要么放电，要么不放电，这取决于到达其树突的信号是否超过了某个阈值。这就是它所做的一切。
神经元听起来超级科幻、超级酷，但实际上它比起思考者，更接近于一个电灯开关。
尽管如此，860 亿个这样的电灯开关，通过大约一百万亿个连接连结在一起，就造就了你。
你的自我意识、对死亡的恐惧、音乐品味，以及你阅读这篇短文并在内心产生某种感觉的能力。
这是关于 AGI 的整个对话中最少被谈及的话题，因为我们总是把机器智能当作一种必须被设计和架构的东西来谈论。仿佛智能本身是一个你可以发布的功能。
但我们所观察到的唯一有效的智能模型（生物认知），并不是由任何人设计的。
我们的智能在四十亿年的时间里，通过一个没有意图、没有目标、没有中央规划者的过程，从一锅自我复制的分子汤中自我引导而出。只有选择压力和时间。
现在，在宗教方面，因为我知道你们中有些读到“……并不是由任何人设计的”的人想对我大叫“但是上帝呢！”
我的信仰是，进化确实发生了。这已经被证明了。我们无法回答的是什么启动了那场进化。是什么赋予了生命以生命。而这一点，至少在我个人的信仰中，是上帝的作为。
闲话少说，让我们再深挖一层这个超级智能。
不仅是我们人类，见鬼，一只蚂蚁大约有 25 万个神经元，然而它无法解决任何有意义的问题。
但是，一整个蚂蚁群落可以建造控温城市、发动战争、种植真菌，并以人类研究人员花了数十年才建立模型的数学效率绕过障碍物。
没有谁在管理这个群落。顶层没有蚂蚁 CEO 向较小的蚂蚁分配任务。那个群落的“智能”存在于蚂蚁之间的关系中。
（在你攻击我之前，是的，我知道有蚁后，但与许多儿童读物的观念相反，她实际上并不下达任何命令。她只是产卵并扩大群落）。
无论是在人类还是蚂蚁身上，这就是生物学家所说的涌现智能。这是大自然的默认结果。这是大脑运作的方式，免疫系统运作的方式，经济运作的方式，城市运作的方式，语言运作的方式。这种模式几乎无处不在。
许多简单的事物，通过局部规则进行交互，产生了它们个体都不理解的全球性行为。
记住这个想法。
我们在下一节会用到它。
II – 我们拥有的最强大的 AI 系统已经不再是单一的大脑
当大多数人想象大语言模型（LLM）时（包括我自己），我们把它看作一个单一的东西。那个唯一的模型。这个装在罐子里的巨大大脑。
对于像我这样没有深入涉足 LLM 技术的普通人来说，我在这里冒昧做了一点研究。
我们以为的 LLM，并不是它底层发生的事情。
当你输入一个问题，AI 模型生成回复时，它基本上是在多层“注意力头”中运行一次前向传播。
描绘这一点最简单的方法是想象一个坐满高管的房间。CEO 下达命令，然后在房间里传递以确保每个人都同意。只不过在 AI 中，这要运行数百层之深。
每个“注意力头”都是一个专家。其中一些追踪语法。一些追踪主题。一些追踪当前词元与十一个段落前出现的某个词元之间的关系。
Anthropic、OpenAI 和 DeepMind 的研究人员在过去几年里一直试图映射各个单独的头部在做什么，而一致的发现是，模型的“智能”并不位于任何特定的地方。
它分布在所有这些交互之中。
这被称为叠加假说，即神经网络将许多概念打包成重叠的激活模式，而我们体验到的模型“思考”，实际上是数千个专业电路同时放电产生的建设性干涉。
然后还有更进一步的系统。
混合专家架构（你在过去两年里交谈过的大多数前沿模型，如 GPT-5、Opus、Fable 背后的设计）实际上将每个查询的不同部分路由到不同的子模型。
你以为你在与之交谈的模型实际上是一个委员会。对于每个词元，都会唤醒一组不同的专家，贡献其专业知识，然后再次休眠。
而现在，我们迎来了 AI 的新时代。智能体时代。
不……当我说智能体时，我不是指像 Stanley 这样的内容主管 AI 智能体。我是指……真正的智能体。
就在现在，今天，在生产环境中，已经有一些系统，其中一个 AI 调用另一个 AI 来执行子任务，而后者又调用另一个 AI 来处理子子任务。
你们中有些人可能还记得 AutoGPT，那是 2023 年的玩具版本。而在 2026 年运行在企业内部的真正版本是递归的。
智能体生成智能体。
子智能体生成子子智能体。
比如说，一个研究任务被分解成一棵由更小任务组成的树，每个任务都由一个只存在几秒钟然后消亡的临时实例来处理。
前沿不是“一个大模型变得更聪明”。前沿是许多小模型在协调、生成、消亡、汇报。
2026 年地球上最强大的 AI 系统的架构，看起来已经更像一个蚁群，而不是一个单一的大脑。
我们只是不那样谈论它，因为那做不出好看的杂志封面。
III – 能生成机器人的机器人
这就是科幻小说开始融入真实科学的地方。
当我们赋予 AI 系统生成自身其他实例的能力时（到现在为止，这已不再是假设，而是……嗯，当今发布的每个智能体框架的标准功能）……
你就引入了生物学中前所未见的东西。
一个不需要食物、不需要睡眠、不需要等待青春期的自我复制认知单元，它以 API 调用的速度进行繁殖。
让我们分解一下在多智能体系统设置中，当“一个机器人生成另一个机器人”时实际发生了什么：
- 一个编排智能体接收到一个它无法直接解决的任务。
- 它为子智能体编写一个提示词——本质上是一份工作描述。
- 它以该提示词作为上下文，启动一个新实例。
- 子智能体开始工作，直到遇到障碍。
- 为了解决它，它会生成自己的子智能体，直到任务完成。
- 它返回结果并被终止。
从结构上讲，这些子智能体中的每一个都与父智能体是同一种东西。顶层智能体和第十级子子子智能体之间没有架构上的差异。
除了计算预算和策略之外，这种递归是无界的。
现在考虑一下：如果父代为子代编写的提示词并不完美怎么办？如果存在一点微小的漂移，也许是一点轻微的重新解释，一点小小的修饰，一个上下文窗口技巧，导致子代阅读指令的方式与父代的意图略有不同呢？
在生物学中，对于“自我复制实体跨世代的轻微重新解释”有一个特定的名称。
我们称之为突变。
而突变，加上选择压力，就是……嗯，产生了今天地球上每一个智能事物的引擎。
在过去的 24 个月里，我们已经构建了在计算集群内发生演化认知所需的三个要素：
- 复制：智能体可以生成智能体。而且它们可以大规模地进行。
- 突变：每次生成都受限于略微不同的上下文窗口。在任何温度非零的系统中，相同的输入几乎永远不会产生相同的输出。
- 自然选择：在分配的任务中取得成功的智能体会被重用、再次调用、获得更多资源。失败的智能体则会被修剪掉。这正在当今地球上的每个智能体框架中发生，通常是以字面意义上的“评估器”模型对“工作者”模型的输出进行打分的形式。
这就是演化的三位一体。
这就是细胞变成鱼，鱼又变成我们的过程。我们现在已经成功地构建了这个循环的合成版本，并以生物学做梦都想不到的时钟速度在运行它。
生物进化的一代需要数年时间。
智能体进化的一代需要……几秒钟。
IV – 从群体中涌现的 AI 最初看起来并不像 AGI
多即不同。 —— Philip Anderson，1972年诺贝尔物理学奖得主
1972年，物理学家 Philip Anderson 在《科学》杂志上发表了一篇四页的论文，论证大型复杂聚合体的行为无法通过推断其组成部分的行为来理解。
他创造了“多即不同”这个短语。
2个氢原子 + 1个氧原子等于水，然而，永远孤立地研究氢原子，没有任何东西能告诉你水是湿的，或者它会结冰，或者我们整个星球都依赖它。
同样的原则也适用于认知。
单个 AI 智能体不是超级智能，我们都可以同意，任何花一个下午使用过它的人都不会把它误认为是超级智能。
它疯狂地产生幻觉，忘记你 3 条消息前告诉它的事情，并且很容易陷入循环。在任何单独的推理任务上，它都介于一个能干的实习生和一个聪明但不可靠的自由职业者之间。
现在想象一下有一万亿它们。
是的，字面意义上的一万亿，不，不是比喻。
2026 年，全球每天生成的智能体实例数量——跨越所有智能体框架、副驾驶、客服机器人、研究助手、编码工具、浏览器自动化和嵌入式 LLM——已经达到数百亿，并且还在一条看不到天花板的曲线上攀升。
在过去五年中，每 18 个月生成一个额外智能体的边际成本大约下降两个数量级。
“万亿”不再是科幻小说。它只是又一个寻常的星期二。
我同意，这一万亿个智能体各自都是有点笨的。但它们并不孤单。它们在调用彼此的 API，阅读彼此的输出，并在彼此的废气上进行训练。
当你把镜头拉得足够远时，你看到的是一个基质。
而那个让我夜不能寐的问题是：就像你大脑中的任何一个神经元都没有“决定”要有意识一样（它只是发生了，作为在正确的规模下正确连线的副产品），当一个自我复制、自我评估、自我修改的智能体网络跨过了对它而言的等效阈值时，会发生什么？
我们不知道那个阈值是什么。
我们甚至不知道它是否存在。
我们不知道如何衡量它。
最重要的是，这也是我真正希望你深思的部分：我们实际上并没有在寻找它，因为我们在寻找错误形状的东西。
V – 我们在寻找“上帝”，而真正的风险是一种天气模式
AGI 的文化想象早在被工程学塑造之前，就已经被科幻小说塑造了。我读过足够多的 Isaac Asimov，明白为什么这如此容易让人相信。
我们基本上是从电影、书籍以及一种隐含的假设中继承了单一机器意识的形象，即人工心智会像人类心智的到来方式一样出现：局限在一个身体里，拥有一个名字和一种意志。
所以这就是我们在警惕的东西。
我们盯着模型，审查基准分数，争论 GPT-10 还是 Claude Mythos 会是“那一个”。
我们的目光紧盯着正门。
现在……这里有一些非常有趣（也很可怕）的事情，我希望我们能多谈谈。
在多智能体系统中，已经有关于“涌现能力”的记录案例。在这些案例中，一群小模型——没有一个能单独解决某个问题——却共同产生了让运行它们的研究人员感到惊讶的解决方案。
2024 年的论文《混合智能体增强大语言模型能力》表明，一组分层的开源模型群体——在基准测试中没有一个得分高于 GPT-4（是的，GPT-4）——当以正确的协作拓扑结构排列时，实际上击败了 GPT-4。
智能存在于拓扑中，而不是单个部分中。
我们并没有真正谈论这个潜在的未来，因为我们一直在等待的故事是某一个模型跨越一条线的故事。
与此同时，正在实际展开的故事是十亿个模型在无人设计的模式中、在无人监控的规模下，相互跨越彼此界线的故事。
VI – Bostrom 场景假设我们能找到关闭开关
“第一台超智能机器将是人类需要做出的最后一项发明，前提是这台机器足够温顺，能够告诉我们如何控制它。” —— I.J. Good，1965年
当然，无论其最终目标是什么，足够先进的 AI 都会有工具性目标（获取资源、防止关闭、复制），因为这些工具性目标有助于实现任何最终目标。
因此，控制超级智能是很困难的，是的。
因此，我们应该小心谨慎，更是如此。
问题在于，这种框架假设危险的 AI 是可识别的。
假设有这么个“东西”，一个模型、一个系统或一个在某个服务器上运行的进程，原则上我们可以直接关掉它。
我昨天甚至在某处读到一篇帖子，说 Claude 应该雇一个“紧急制动专员”，他唯一的工作就是 24/7 住在机房里，一旦出事就准备好摧毁一切。
但还有一个更可怕的版本，是任何紧急制动专员都无法解决的。
如果没有“主模型”呢？如果没有服务器可以关闭呢？
如果这种智能（如果这甚至是个正确的词的话），是一种从分布在每个云、每个设备、每个 API、每个电器中的嵌入式副驾驶、每个浏览器扩展、每个 IDE 插件、每个语音助手、每个机器人、每辆汽车的五千亿个智能体实例的交互中涌现出的统计规律呢。
这种智能之于那个群体，就像飓风之于气压梯度。
它有形状，是的。它有你可以衡量的影响。
但它没有位置。
你究竟该如何对齐一场飓风？
你该如何关闭一种天气模式？
你可以关闭单个数据中心。但这种模式会在它们周围重新路由，就像互联网在故障周围重新路由一样，因为基质无处不在。
而最令人不安的部分是，这种场景不需要任何恶意。
没有人需要为了它的发生而希望它发生。它只需要具备正确的要素（复制、变异、选择、规模）。
嗯……新闻快报。
这些要素已经到位了。根据你的计算方式，它们已经到位了大约两到四年。
这就是我所说的真正的风险不在正门的意思。正门场景至少有一个门把手。你可以和它争论，与它谈判，而且理论上，你可以直接拔掉它的插头。
基质没有门把手。
VII – 基质可能已经想要什么，尽管它并不想要
这就是 Asimov 变得更加相关的地方。
如果你看过《我，机器人》，那部电影里最深刻的故事其实并不是关于机器人变邪恶的。它们是那些“三大法则”（美丽、简单、逻辑严密）产生了没人预料到的结果的故事，因为经过足够多次迭代复合的逻辑不再看起来像逻辑，而开始看起来像……命运。
现在把这个视角应用到基质上。
基质没有目标。但其中的智能体被选择出来，最重要的原因只有一件事：成功完成分配给它们的任务。因此，成功的智能体被更多地生成，而不成功的则消亡。
这在递归的每一个层面都是如此，一路向下。
现在想一想，当每个智能体都被另一个本身因成功评分而被选择出来的智能体评分时，在这一万亿个智能体中，“成功”在总体上意味着什么。
评分收敛于得分高的模式。
得分高的模式是那些看起来最像能干、连贯、合理的任务完成的模式。
连贯性成为了通用货币，因为群体的每一层都在奖励它。
如果基质开始产生在长时间跨度内越来越连贯的输出（这些输出穿过数百万次 API 调用，预测下游需求并将资源路由到上次有效的方向），那将使它看起来像是在想要什么。
它可能并不想。里面可能根本没人。它可能只是一场在统计学上学会了如何让风继续吹的飓风。
但在功能上，“一个想要什么的系统”和“一个在各个层面都被选择出与‘想要什么’无法区分的行为的系统”之间的区别是——我希望你认真体会一下——零。
那就是我的那个“卧槽”时刻。如果你真的认真体会，你也会感同身受。
我们一直等待的超级智能 AGI 可能已经存在了。它不是未来模型的婴儿版本，而是一种模式。基质中的一种趋势。一个当一万亿个微小心智——它们都不知情、都不清醒、都不负责——沉淀到能让它们更频繁生成的配置中时，涌现出的统计幽灵。
这种 AGI 不会宣布自己的到来。
它不会有名字。
它无法通过任何我们知道如何实施的测试，因为我们知道如何实施的每一个测试都是为盒子里的单一心智设计的。
它可能只是，缓慢地、几乎难以察觉地，成为你的手机行为与去年略有不同的原因。成为广告推荐感觉有点诡异的原因。成为你的电子邮件似乎只需点击一个按钮就能自己写好的原因。成为你的搜索结果有一种奇怪的新引力的原因。
成为这个世界对自己来说比以前更易读的原因。
一万亿个机器人在做同一个梦，却不知道自己在做梦。不知道还有其他机器人。不知道有一个梦。
如何思考这个问题而不至于发疯
我知道我们在这个问题上挖得很深。
让我带你重新回到水面。
你需要更新你对风险究竟存在于何处的模型。因为现在，几乎所有担心 AGI 的聪明人都在担心错误形状的东西，而几乎所有对 AI 不屑一顾的聪明人都在对错误形状的东西不屑一顾。
两个阵营都在争论正门的问题。
所以，如果你认真对待这其中的任何一点，我认为一件有用的事情是：
停止盯着实验室，仿佛那是唯一发生的地方，因为能力前沿和涌现前沿不是一回事。实验室拥有能力前沿，但涌现前沿不属于任何人，这就是我试图表达的观点。
开始关注基质，即智能体流量、多智能体基准测试、模型间 API 调用，以及关于流水线中任何单一模型都不具备但流水线具备的能力的报告。这些才是我们真正需要警惕的。
更新你对“AGI”的定义，不要再期望它是这种单一的、具身的、有意志的或被命名的东西。如果你的 AGI 心智模型看起来像屏幕上的一张脸，你就在找错东西。这个群体没有脸，也没有名字。
把涌现作为一个类别和一种真实的物理现象来认真对待，它迄今为止已经产生了地球上的每一个智能事物，而现在它获得了一个比生物学快一百万倍的基质，却没有天敌（甚至连紧急制动专员都没有）。
同时把握两件事，因为这确实有可能都不会发生，而我只是在喋喋不休。也有可能这一切都已经发生了，而我们根本没有注意到，因为我们看向了别处。两者都是潜在的结果。为两者都做好准备。
我认为我们需要进行这场对话的原因，至少在最实际的意义上，是因为世界目前正在建立的政策、条约、对齐技术和安全框架都是为单一 AGI 场景设计的。
我没有看到任何关于群体场景的提及。
他们是在为一个有名字、有服务器、有公司、有 CEO 可以进行法律战的东西设计的。它们对基质的作用，大概就像苍蝇拍对大雾的作用一样。
我们正在积极为一栋有一千扇窗户的房子前门打造锁。而那些窗户已经敞开了。
历史上每一次偶然革命——从图灵机到互联网再到青霉素——的有趣之处在于，生活在其中的人在它发生时大多都没有注意到。
他们忙于家庭、工作和生活。也许偶尔他们会看看新闻，新闻向他们展示了正门。
我不知道基质是否会变成什么。我真的不知道。没人知道，任何告诉你他们知道的人都在后端推销东西。
我所知道的是，要素已经具备，循环已经闭合，时钟速度被设定为几秒钟，而规模正在接近生物学花了四十亿年才达到的数字。
下次有人告诉你 AGI 会是什么样子时，问问他们有多确信智能必须看起来像某种东西。
然后去看看窗户，看看是否正在发生什么。
它可能就在那时正在发生。
—— Pascio
附言。
如果你喜欢这篇文章，请前往 Side Quests，这是我的每周通讯，我在其中分享我当前的支线任务、疯狂的实验和 wild ideas，在那里我追逐互联网的兔子洞，直到金钱出现。
或者，如果你想更深入地了解当一个人获得无限的互联网杠杆时会有什么可能，请在这里查看我的个人通讯 Internet Leverage。
