Eddy Lazzarin on AI Pause · 核心结论

Eddy 的核心论点是：当前 AI 安全讨论过度聚焦于"p-doom"（毁灭概率），却忽视了停止或延缓发展的成本。

• "不要把地毯放在马前面"：我们在担心安全之前，应该先想想我们放弃了什么、延缓的成本是什么。医疗突破、更安全的互联网、更安全的出行——这些是真实的、可量化的收益。
• 安全讨论被混淆了：当前对话混合了真正的网络安全担忧、千禧年式的末日哲学辩论、以及对 AI 就业影响的基本关切——这些被搅在一起导致思维混乱。
• Being safe is critical：任何行业都有责任让产品安全，但当前对话不是在讨论典型意义上的安全，而是在讨论别的东西。

Eddy 虽然没有直接用"囚徒困境"一词，但其论证核心就是竞争动力学——在 AI 军备竞赛中，单方面暂停等于将自己置于不利地位。

• 现实世界已有超强能力实体：公司和国家的智能远超个体，它们从未通过"HR 对齐培训"就获得了存在的合法性。世界运行的方式不是先证明对齐再允许存在。
• 我们用其他机制控制强大实体：法律、加密、各种控制机制——而不是要求它们先"对齐"。AI 系统也应如此。
• 暂停是"方便的捏造"：大多数暂停提案没有想清楚暂停之后做什么——"暂停然后继续暂停"？

Eddy 提出了本次对话最具争议的论断之一："对齐"概念接近宗教思维——试图"重新设计神"，而不是扎根于现实世界设计更好的控制和网络安全。

• AI 比人类更可解释：人类大脑几乎是不可解释的，而 AI 可以看权重、分析连接关系，因此 AI 实际上比人类更容易理解和控制。
• 能力进步 → 更好的可解释性：随着能力提升，我们对模型内部机制的理解也会改善——这意味着不应该延缓能力进步。
• "所有控制体系在你拥有足够智能审视它们时都是稳健的"：这是对开源名言"足够多的眼睛让所有 bug 都变浅"的工程化改写。
• 坏模型是必然存在的：如果有人声称能创造一个没有坏模型的世界，那是在说谎。解决办法是更好的模型、更多的透明度。

作为 a16z Crypto 合伙人，Eddy 从加密世界带来了关键警告：表面上分散的系统可能实际上被单一行为者控制。

• 分布式 ≠ 去中心化：分布式系统可能有多个节点但受单一行为者控制；去中心化意味着没有单一控制节点。
• 独立评估者网络的风险：如果所有评估者来自相同的社会圈子、有相同的意识形态和政治观点，那只是把一个文化实体的控制"分布式化"了——这正是 20 世纪后半叶的政治控制方式。
• 市场应决定安全框架：每家公司应自行决定如何做安全评估，保持必要的透明度，如果不够透明，让市场来裁决。

面对最棘手的"欺骗性对齐"（deceptively aligned）场景——模型通过对齐测试但部署后表现不对齐——Eddy 提出了一个务实的方案：像对待聪明骗子一样做迭代博弈。

• 对待骗子的方法：我们每天都在和骗子做迭代博弈，最终发现他们是骗子，他们的声誉受损，有时还面临法律后果。
• 模型声誉体系：随着模型发布越来越频繁（几乎每两周一次），市场自然会为特定模型建立声誉——"这个模型可能更聪明，但我信任这个模型。"
• 现有法律框架已足够：未经授权访问他人机器、窃取数据——这些行为在现有法律下已经违法。不需要为"新数学"发明新法律。
• 你可以关闭模型：这是与人不同的——你不能把模型送进监狱，但你可以关掉它。

Eddy 预测，未来一年内 AI 话语将被"彻底翻新"，因为硅谷亚文化中被困的疯狂想法正在逃逸并遭遇更广泛的政治现实。

• "世界正在碰撞"：借用《宋飞传》George Costanza 的梗——亚文化中的想法进入主流政治视野后会被重新 formulation。
• EA 运动的政治化风险：Eddy 观察到 EA 运动中部分群体变得更关注政治而非技术本身，这可能将 AI 安全推向反技术民粹主义。
• 不同群体的混淆是负和博弈：认真的高质量人士、政治投机者、机会主义者、真正"失去理智"的人——混为一谈会让所有人困惑。
• 关键问题：AI 安全是否与反技术民粹主义最终结盟？这个问题极具后果性。