大佬万字长文背后：硅谷精英们正试图重写人类社会的宪法与政治版图

最近，顶尖 AI 巨头 Anthropic 的 CEO Dario Amodei 抛出了一篇引发全网刷屏的万字长文：《人工智能指数时代的政策》。全文围绕五个政策领域，非常细致地写清了自己的观察，并提出了从监管到地缘政治的系统性建议。

（原文链接：https://darioamodei.com/post/policy-on-the-ai-exponential ，本文后附中文版全文。）

必须承认，在满嘴“改变世界”、只会画大饼的硅谷圈里，Dario 堪称一股罕见的清流。

他极其坦诚、甚至有些“大义灭亲”地撕下了科技圈粉饰太平的伪装。

圈内人总爱把公众对 AI 的担忧归结为“公关没做好”，但 Dario 毫不客气地反驳：人们担忧是因为风险真实存在，根本不是什么公关问题。

他也直接承认了科技巨头极力回避的那个真相：AI 极有可能引发严重的、持久的失业潮，让经济卡在“超级增长与超级不平等”的极端状态里。

但如果我们顺着这位行业前线“吹哨人”给出的解药往下推演，就会发现一个令人深思的结构性悖论：

这位充满责任感的高管，在呼吁给行业套上枷锁的同时，客观上正在欲图推动一场前所未有的权力交接。硅谷精英们，正重写人类社会的法则。

呼吁强监管的 B 面：领先者的“绝对护城河”

面对以闪电般速度进化的 AI，Dario急了，建议政府赶紧像管飞机、管药物一样，把 AI 管起来。

比如，搞一个类似联邦航空管理局（FAA）的机制，要求算力达标的前沿模型必须通过第三方的强制安全测试，否则就不准发布。

出发点无疑是为了人类安全。

但从商业演化的客观规律来看，航空业之所以是高度集中的寡头垄断，正是因为合规成本高到离谱。

一旦 AI 行业真的“FAA化”，高昂的审查费、定期的红队测试和渗透测试，将直接化为一道坚不可摧的“叹息之墙”。

监管，有时候是领先者的护城河。初创公司和开源社区根本无力负担。

最终的结果是：巨头们出于对全人类安全的“大爱”，客观上借用公权力进行了合法清场，把自己的寡头地位写进了法律。

在医药与地缘政治领域，这种微妙的逻辑同样存在。

Dario 呼吁 FDA 等传统机构放松对 AI 药物研发的审批，接受 AI 模拟来替代漫长的临床实验。出发点是好的，但这无疑也为手握最强算力的 AI 巨头降维打击万亿医药赛道扫清了障碍。

同时，他构想了一个“民主国家 AI 联盟”，在内部共享芯片，对外部严防死守。

若建立该联盟，谁提供技术？谁被排除在外？谁被敌对？这整个过程中，谁获利？

为了维持技术代差，科技巨头不仅是技术提供商，更顺理成章地成为了新时代游戏规则的制定者，甚至可能化身为承接巨额国防预算的新型“数字军工复合体”。

借古观今：人类社会的版图会被如何改写？

如果我们翻开历史的草蛇灰线，这一切其实早有预兆。

在历史上，当一家公司变得足够庞大时，它往往会“俘获国家或采用准国家的特征”。Dario 自己在文中就提到了一个非常精准的类比：英国的东印度公司。

东印度公司起初只是一群做香料贸易的商人，但为了保护航线、管理庞大的跨国利益，他们渐渐开始招募军队、建立法庭、发行货币，最终成为了统治次大陆的“准国家”。

今天的硅谷巨头们，走的正是一模一样的路径。

只不过当年的媒介是坚船利炮，今天是算力。

Dario 推演了一个让人惊叹的未来：如果 AI 继续指数级进化，它将变成“数据中心里的天才国度”：AI就像是各领域天才的集合地，拥有强大的AI就像拥有了一个国家那么多的天才为自己效忠。所以当一个拥有强大AI的军队，面对没有AI的军队时，差距就像“二战海军陆战队面对中世纪剑客”。

当科技巨头手中掌握了能够引发金融崩溃、制造生物武器、甚至决定全球地缘政治格局的超级技术时，传统的国家机构开始难以对其进行有效约束。

巨头们已然试图自己制定安全标准，自己测试模型，甚至自己构想国际结盟方案。

这并不是因为他们是一群邪恶的野心家，而是技术发展到这个体量后，权力的真空与人性的复杂迫使他们自然而然走上了类似的道路。

在风暴之眼，普通人的自处法则

在这样一个算力决定一切的时代，个体的力量似乎被无限压缩。

Dario 毫不留情地揭开了真相：AI 取代的不仅是体力劳动，而是人类引以为傲的认知能力本身。

我们在职场上苦苦磨练的逻辑推理、方案策划，在AI这个“汇集了所有天才的国度”面前如同儿戏时，我们该如何自处？

巨头们给出的药方是：全民基本收入（UBI）等宏观经济支持。哪怕不工作，国家也发钱养你。

但饭碗保住了，心里的那个大窟窿谁来填？

或许就像 Dario 在文中的那个隐喻：即便机器早就在国际象棋和围棋上碾压了人类，但人们依然会把一生奉献给棋盘，依然受人敬仰。

因为机器算出的是冰冷的“最优解”，而人类追求的是生机勃勃的“体验本身”。

不可被标准化的那些特质，将成为未来最稀缺的资源。

以下为Dario Amodei此次发布的全文（中文翻译版），略经钛媒体编辑：

关于AI指数级增长的政策

在《指环王》的一个支线剧情中，两个霍比特人试图唤醒树须（Treebeard）——一个充满智慧但行动迟缓的有知觉的树人——来保卫他的森林，抵御一支正在砍伐森林的军队。 问题在于，树须的行动速度与霍比特人截然不同。 他单单是向另一棵树问声好就需要花上一整天的时间，因此要让他和他的同伴们足够迅速地采取行动几乎是不可能的。

人工智能（AI）与我们的政治制度之间的交集，感觉有点像霍比特人和树须。 AI正以闪电般的速度（lightning pace，俚语/习语，意为极快的速度）发展——仅仅在四年时间里，AI模型已经从几乎写不出一行连贯的代码，发展到在主要AI公司编写了大部分代码。 在生物学、物理学、数学、金融、法律、翻译以及许多其他领域也取得了类似的进展。 AI的缩放定律（scaling laws），即预测随着计算能力的增加，通用认知能力将呈指数级增长，如今这一定律背后已经有超过十年的实证证据支撑。 如果这些缩放定律再延续仅仅一两年的时间，我们很可能会得到我所谓的“强大AI（Powerful AI）”，或者说“数据中心里的天才国度”。

相比之下，政策——尤其是立法——进展非常缓慢。 通常这是有充分理由的：政府拥有极其重大的权力，不草率地行使这些权力通常是最好的。 但这种时间尺度上的错位仍然是非常令人痛苦的：在国会采取行动可能需要的几年时间里，AI可能会从一个有趣的玩具变成一个名副其实的天才国度（country of geniuses）。

在过去几年里，自从AI成为一项主要的商业技术以来，我们这些希望负责任地处理它的人面临着一个进退两难的困境。 我们能够清晰地看到这种指数级增长的走向：我们强烈怀疑在几年内，AI将成为那些从根本上重塑整个政策格局的罕见技术之一，就像核武器重塑了地缘政治、工业革命从根本上重塑了每一个经济和社会问题一样。 但是，对于那些只关注当时AI能做什么的人来说，它看起来更像是一项非常普通的技术——也许类似于最新的消费者应用程序或加密货币。 很难说服大多数政策制定者和公司，除了放任自由（laissez faire）的态度之外，还有什么是有意义的。 公平地说，事实上AI的激进影响尚未显现，而且我们并不确切知道它们可能会采取什么形式，这也使得即使有采取行动的意愿，也很难设计出正确的政策。

鉴于这种情况所施加的限制，许多安全倡导者（包括Anthropic）迄今为止一直专注于倡导能够保留选择权、为未来的快速反应做好准备（tee up，俚语/习语，意为做准备、打基础）、或让世界更好地洞察即将发生的事情（coming down the pike，俚语/习语，意为即将发生或出现的事情）的政策行动——诸如透明度立法、对芯片的出口管制以及收集关于AI对劳动力影响的数据。 这些还不够，但它们给人的感觉似乎是目前所能做的一切了。

然而，在过去的几个月里，关于AI令人难以置信的力量及其风险的证据已经变得不可否认。 也许最具代表性的例子是Claude Mythos Preview（Claude神话预览版），以及人们发现前沿模型（frontier models）对网络安全构成了非常真实的风险，创造了破坏金融部门、关键基础设施和国家安全的可能性。 Mythos Preview彻底打乱了（scrambled，俚语/引申义，意为使陷入混乱、打乱）全球网络安全格局。 但其更广泛的意义在于，它毫无疑问地证明了AI模型现在已成为具有全球和国家战略意义的工具。 Mythos级别的模型所带来的网络风险不会是我们必须面对的最后一个风险。 我相信生物风险可能很快就会随之而来，严重的AI自主性风险也可能紧随其后（注释1）。

我们现在在全球范围内集体需要启动一个缓慢且摇摇欲坠的政策机构，以应对从现在起将以惊人速度复合增长的风险和机遇。 许多政策制定者正表现出越来越开放的态度来采取行动，令人鼓舞的是，看到我们的同行也转而支持我们过去几年一直倡导的相同立场（come around to，习语，意为改变观点以赞同）。 这是好事，但我担心这些早期行动与AI的快速进展相比至少脱节了一年。 这篇文章试图缩小这一差距：阐明指数级增长目前所处的位置，以及迎难而上（meet the moment，习语，意为应对当前的关键时刻/挑战）所需的集体行动。

我将重点关注在AI世界中需要重新构想的五个常年性政策领域：监管与公共安全、宏观经济与税收政策、科学创新、国家与社会之间的权力平衡、以及地缘政治。 我将主要从美国政策的角度来谈，因为Anthropic是一家美国公司，但我提出的大多数建议也与世界其他地区相关。

随同这篇文章，Anthropic将发布一份关于前沿模型测试的立法提案，以及一份关于工作岗位流失的政策框架，我们打算为此提供大量的财务支持。 我们计划在未来做更多的事情，但我们将这些视为表明我们严肃态度的第一步。

1. 监管与公共安全

每一项新技术或新产品都有其有益和有害的用途，因此在创新与安全之间带来了一种两难的境地。 对产品进行监管会降低它们造成危害的可能性，并在改善世界各地人们的生活方面发挥了重要作用，但它也可能直接减少其带来的益处并间接抑制创新。 这里还有一个哈耶克主义的观点，即监管机构通常缺乏做出关于复杂经济权衡的正确决策所需的信息，因此监管通常既无效又繁琐。 一个相关的概念是科林格里奇困境（Collingridge dilemma），该困境指出，一项技术的影响通常很难预测，直到为时已晚而难以轻松管理它们。

在2023-2024年，这些动态在AI领域显得尤为突出（loomed large，习语，意为显得突出、引起关注或显得可怕）。 对Anthropic来说，很明显AI在未来可能具有制造威胁数百万人的生物武器的能力，或者其自主性的不当行为在极端情况下甚至可能威胁人类本身。 不太清楚的是风险将以何种确切形式出现，如何最好地测试和缓解它们，以及它们在实践中将如何演变（play out，习语，意为发展、产生结果）。 因此，提前起草的立法存在很高的风险，可能会最终变得无效——制造无意义或低价值的合规要求，同时错失了实际风险的最关键来源（注释2）。

最终，我们得出结论，当时正确的方法是透明度。 AI模型的开发者应必须披露他们的安全程序以及他们在模型上运行的测试，并报告任何关键的安全事件，以便公众和科学界能够在风险出现时更好地洞察这些风险。 何时以及如果风险变得更加明确且其形态更加清晰，那么通过透明度获得的证据就可以用来设计聪明的立法，以精准地针对最令人担忧的风险。 因此，在2025年，Anthropic支持了透明度立法，帮助通过了加州的SB 53、纽约州的RAISE、伊利诺伊州的SB 315（于2026年初通过），并倡导在联邦层面制定透明度标准。

然而，现在的风险已经显而易见地到来了。 是时候超越透明度，对AI进行更严肃和具有约束力的监管了。 我认为，至少在指数级增长的当前阶段，最好的类比是汽车、飞机或药物——这些是现代经济不可或缺的强大技术，但如果设计或操作不当，则有能力导致大量人员死亡。 因此，我认为我们应该以联邦航空管理局（FAA）等机构为模板来制定AI监管框架。 前沿AI模型就像飞机一样，应该被要求接受技术测试和审计，如果它们不符合高安全标准，则应将其发布受阻或撤回，视其为对公共安全的威胁。 我很感激看到特朗普政府的行政命令正逐步朝着让政府在AI领域发挥更大作用的方向迈进，尽管Anthropic的提案建议采取更进一步的行动。 我们的提案包括以下要素：

• 超过一定算力阈值的模型必须接受合格的第三方强制测试，以评估其在四个特定领域的风险水平：网络安全、生物武器、对AI系统失去控制，以及可能加速这些其他风险的自动化研发。
• 如果根据第三方评估认为该模型存在不可接受的风险，政府应该有权阻止或威慑该模型的部署。 这项权力必须限定在上述四个具体风险范围内，并且必须有针对政治偏袒或武断决定的保护措施。
• 第三方评估可以由政府机构（类似于FAA）或一组获得政府授权和检查的私人组织来进行，以根据某些标准评估模型（一种“监管市场”方法）。
• 开发先进AI模型的AI公司必须拥有保护其模型权重的强大安全标准，应进行定期的红队测试（red teaming）和渗透测试，并应与政府合作防御主要的威胁行为者。
• 必须及时报告这四个关键领域的安全事件。

可能会有那么一天，也许很快，当最强大的AI系统看起来不那么像飞机或汽车，而更像可武器化的核材料时——这对人类是一种威胁，而不仅仅是“仅仅”对公共安全的威胁，我们就需要超越这一步。 如果发生这种情况，我们可能需要采取比我上述列出的更为激进的监管措施（注释3）。 但是，正如在2024年很难针对并应用我现在建议的措施一样，我认为我们不应该操之过急（get ahead of ourselves，习语，意为行动过早、超前）。 我们应该为今天正在出现的危险设计政策，同时奠定基础，以便在新危险出现时更快地加强我们的应对措施。

2. 宏观经济与税收政策

长期以来，各国政府一直面临着如何鼓励经济增长，同时又提供重要的公共服务并确保最弱势群体得到照顾的问题。 这些辩论的一个重要（且总体上是正确的）前提是，经济增长是脆弱且难以实现的——虽然减少不平等可能会带来重要的好处，但它必须与增加税收或赤字带来的经济阻力进行权衡。

我怀疑强大的AI可能会打乱这一假设。 如果AI获得了远好于人类执行大多数认知任务的能力，那么合乎逻辑的是，它可能会通过加速科学、技术和运营效率而带来极快和强劲的经济增长。 AI构建更好AI的迭代能力甚至可能会进一步增强这种增长。 但出于完全相同的原因，相比之前的技术，AI也可能作为一种对人类认知能力的更普遍的经济替代品，同时也比之前的技术更快地改变经济。 因此，有理由认为，与以前的技术相比，AI可能会对劳动力市场产生大得多的颠覆，而且潜在地是更持久的颠覆。 我们面临的风险是，最终会进入这样一个世界：经济权衡的表盘被卡在了超级增长、超级不平等的设置上，而且有可能很难从该设置中拔出来。 在这样一个世界中，关键的挑战将不再是激励增长，而是找到一种让每个人都能分享利益的方法。

在这篇文章讨论的主题中，宏观经济和持久的劳动力替代可以说是吸引了最多公众关注和最多误解的话题，所以我想非常明确地说明两点。

首先，持久的工作岗位流失是不可取且危险的，我们应该尽一切努力尽量减少或防止它，而不是促成它。 我在访谈和文章中警告过工作岗位的流失问题，因为我希望政策制定者和私营部门都有最好的机会去适应和应对，而不是因为我试图成为一个“末日先知”。 作为一家公司，Anthropic总是尽其所能与客户合作，寻找创造性的新用例和新收入来源，使他们能够用现有的劳动力做更多的事情，而不是仅仅关注于节约成本（这通常意味着裁员）。 随着这些系统的进步，我们也不断尝试构想新的交互范式，让参与协作的人类在AI系统中能够扮演尽可能活跃的角色。 更广泛地说，让整个世界尝试以尽可能多的新方式使用AI是有价值的，因为这是社会发现新的潜在工作配置的途径。 我的确认为AI将带来大量新的经济机遇。 我曾预测过，AI将使单个人能够创建价值十亿美元的公司，而我们已经看到只有少数几个人的团队建立起了收入数亿美元的企业。 但与此同时，我们应该认识到，尽管我们付出了所有的努力，AI仍然很有可能会导致严重的持久性失业——这可能是该技术的内在属性以及它广泛复制人类认知方式所决定的（注释4）。

其次，任何针对AI驱动的工作岗位流失问题的应对措施，都需要既解决为每个人提供经济保障的需求，又解决人们寻找意义、目标和能动性的需求。 后者最终更为重要，它取决于关于社会应如何组织、人们应追求什么以及什么构成美好生活的深层问题。 实际上，我非常乐观地认为，即使在一个拥有在所有方面都比所有人更出色的AI的世界里，人类仍然可以过上目标深远的生活，并努力创造令人敬畏和美丽的事物（注释5）。 但这是需要全社会共同解决的问题，而不是政策可以直接解决的问题。 政策能够发挥最大作用的地方，在于通过减缓失业速度并为可能受到影响的人提供经济保障，从而为我们争取时间来做这项工作。

本着这种精神，一些可能有所帮助的关键政策干预措施包括：

• 衡量与追踪。 很容易把单纯的数据收集和分析视为不足以应对问题规模的做法而加以否定，但如果我们不能准确衡量实际发生的情况，我们就不太可能制定出好的政策。 Anthropic运营关于人们如何使用Claude的经济指数已经有近一年半的时间了，但政府可以获取我们无法获得的数据类型，并且可以大幅扩展其经济统计数据，以便更仔细地追踪AI带来的失业情况。
• 促就业的激励措施。 广泛的促就业政策激励措施可以帮助减缓或减少工作岗位的流失，包括：当人们不得不从事低薪工作时对他们进行补偿的工资保险政策（注释6）、鼓励雇主不进行裁员的保留税收激励、劳动力培训补助金、或者促进雇主与雇员匹配以加快劳动力市场适应速度的基础设施。 虽然哪种干预措施最好的细节将取决于AI带来何种类型的劳动力替代，但我们应该欣然接受这些政策可能带来的成本和市场效率低下，特别是因为它们可能会被AI驱动的生产力增长所抵消。
• 长期的宏观经济支持。 如果AI驱动的劳动力替代最终规模巨大，并永久性地压低了对劳动力的需求，那么可能就有必要超越单纯的激励计划，对很大一部分劳动力提供长期的收入支持。 全民基本收入等机制可以通过对相关公司征税或提高资本利得税来获取资金。 全民资本账户提供了另一种工具。 广义而言，快速的经济增长应该会为共同繁荣创造税基。

对于AI的经济担忧中，我没有提到的一个共同焦点是数据中心，特别是它们提高能源价格的潜力。 我的观点是，AI公司应该自掏腰包吸收费率的增长——而且Anthropic已经承诺这样做——但我认为公众对数据中心的敌意很大程度上是关于AI更广泛经济焦虑的一种象征或发泄途径。 重要的是，我们要就这些更广泛的经济问题进行直接的社会对话，并切实针对它们提出令人信服的解决方案，否则它们很可能会像在数据中心问题上那样间接地表现出来。

3. 加速AI的积极影响

正如我们必须努力平衡AI本身的创新与安全一样，我们也必须努力平衡那些可能被AI加速的技术（如生物医学、能源或材料科学）的同等平衡。 但尽管AI本身可能会带来非常迅速出现且我们没有任何处理经验的新挑战，受AI加速的其他领域却可能遭遇一个截然不同的问题：为较慢的创新步伐而设计的监管系统，没有准备好应对AI将带来的新产品和新进展的洪流。 AI还可能使这些下游技术变得更安全、更可预测，从而打破食品药品监督管理局（FDA）等监管机构所持的怀疑性假设。

因此，对于AI的下游应用——与AI本身相反——我更担心的是监管机构会放慢进展（因为他们无法应对加快的变革步伐），而不是担心它未能解决重要的风险。 我们最不希望看到的是AI的好处被放慢，而其风险却日益逼近，所以尽快对这个问题采取行动是很重要的。

这个问题及其解决方案将在科学、商业和技术的各个领域以不同的方式显现，所以我将集中讨论一个具有说明性的领域：生物医学创新。 这既是因为它很可能成为AI最大的人道主义收益的来源，也是因为这是一个监管特别复杂的领域。 我们并不确切知道AI将如何加速生物医学创新，但它似乎很可能会：

• 极大地提高候选新药进入监管管道的速率；
• 增加新药的效应量并改善其安全状况，因为有了更好的优化，也许还能更好地理解其潜在的生物学特性；
• 开发出治疗以前从未被成功治疗过的疾病的候选药物；
• 迅速创造出全新形式的疗法，就像抗体、多肽和细胞疗法在过去几十年中成为新类别的治疗方法一样。

其中一些进展将自然地加快监管时间表，而不需要进行结构性的改变。 效应量更大的药物可以导致规模更小、成本更低的临床试验，并激活加速审批机制。 但目前的监管系统被设计为施加高水平的审查和许多阶段的测试，其前提是假设候选药物通常无效，并且即使有效也通常存在严重的安全问题。 无论是在FDA还是欧洲药品管理局（EMA），一种候选药物通过监管管道的典型时间是7-8年，部分原因就是这些悲观的假设。 如果不进行改革，AI将简单地使这个系统发生拥堵或过载。

显然，我们不希望以导致出现一批万灵油（snake-oil，俚语，指骗人的假药）药物或广泛安全事件的方式改变事物。 但一些相对简单的改革可以使FDA、EMA和类似机构更适应由AI驱动的快速科学加速（如果这种情况发生的话）。

以前需要昂贵且缓慢实验的许多临床流程步骤很快就可以通过AI模拟或分析来完成。 监管机构现在就应该考虑制定关于接受此类方法需要什么条件的标准。 这意味着一旦这些方法奏效，它们就可以被迅速采用，而不是经历一段不必要的测试被继续要求延长的时期。 这适用的领域可能包括：

• 基于AI的药效学和药代动力学（PD/PK）建模；
• 毒理学预测，以避免需要进行多物种动物毒理学研究；
• 更准确的剂量选择，以减少试验中对大剂量范围的需求；
• 通过分析大型数据集进行生物标志物验证；
• 临床试验中的合成控制组，以减少招募更多参与者的需求；
• 开发替代终点（这在衰老和神经退行性疾病中尤为重要）。

除了这些具体的例子之外，各机构还应考虑更为激进和灵活的加速审批机制。 如果我对AI的预测是正确的，那么很快就会出现许多突然冒出来（out of the blue，习语，意为出乎意料地、突然）且效果极好的干预措施，监管体系应该准备好认真对待它们，而不是采取过度怀疑的姿态。

生物医学的加速应大幅增加AI的益处，但值得注意的是，它也可能有助于降低AI的风险。 改革生物医学审批可能有助于生物防御，并且AI驱动的生物医学进步也可能改善心理健康，这可能对社会产生稳定作用。

4. 国家与公民自由

每一种政府体系都必须面对国家权力及其限制的问题。 国家在保护其人口免受内部和外部威胁方面具有合法的、往往是生死攸关的利益。 但赋予其过多的权力则是通向暴政之路。 现代民主国家在很大程度上成功地管理了这种平衡，但即使在最好的时期，这种平衡也是令人不安的。 维系这种平衡需要几个世纪以来建立起来的大量法律和宪法机制——例如，在美国是第一、第四和第五修正案、《民兵法案》（Posse Comitatus Act）、《外国情报监视法》（FISA）等等。

AI威胁要打破这种平衡，同时也极大地提高了它的赌注。 但如果我们迅速做出反应并迎难而上，我们就可以利用AI创建一个比以往任何时候都拥有更强大、更持久的自由保障并更好地防御威胁的世界。

落入坏人之手的强大AI可能是专制独裁的终极工具，而我们现有的法律和宪法保护并未完全装备好以对抗这种威胁。 从根本上说，智能在世界权力方面带来的巨大回报，再加上AI发展进步的快速步伐，为各种危险行为者意外夺取权力创造了一场完美风暴（perfect storm，习语，意为多种糟糕情况同时发生而造成的极其糟糕的局面）。

这种危险可能采取各种具体的技术或运营形式，但它们的共同点在于，AI可能突然赋予巨大的权力，同时绕过（routing around，俚语/引申义，意为绕过障碍或监管机制）现有的民主监督机制。 今天听起来像科幻小说的一支完全自动化的无人机军队，在未来可能会服从非法命令，并允许政府单方面巩固其权力；受过专业训练的人类则更有可能反对这种非法指示。 一个专注于监视的AI可以大规模分析广泛可得的信息，并用它推断出每个公民生活中最隐秘的细节——这是目前的公民自由法律没有考虑到的一种技术能力。 所有这一切都可能在极短的时间内或秘密地发生，因此主动强化民主国家对自由和公民自由的承诺非常重要。

以下是我们应该考虑的一些政策想法：

• 为全自动武器建立可靠的问责规则。 全自动武器，尤其是协调或指挥它们的任何自主系统，应被要求响应宪法和指挥问责机制（例如法庭命令、立法，以及对高级人类监督员的问责），而不是盲目服从命令。 这可能意味着，一个设计合理的法律审查小组或司法部门在某种“关闭开关”上拥有控制权，或者系统本身在内在训练中寻找并响应合法的监督机构，或两者兼而有之。
• 禁止在国内使用全自动武器。 虽然完全自动武器在防范外国对手（例如俄罗斯入侵乌克兰）时具有合法的必要性理由，但没有任何理由将其用于美国人身上。 军方在国内行动的能力已经受到了一些限制，但理想情况下，这些武器也应该在执法中被禁止使用。
• 堵住批量收集/数据经纪人漏洞。 根据现行法律，美国人与私营公司（如互联网提供商）共享的数据可以被购买，并用于国内监控和执法中的批量分析。 这种隐私保护方面的漏洞（loophole，指法律上的漏洞或空子）在AI出现之前就存在，但AI将通过使此类数据的海量分析比过去更具揭示性和实用性，从而极大地提高利害关系。 这个漏洞应该被堵住。
• 在面对不利的政府行动时享有获取AI建议的公共权利。 作为一项普遍原则，任何作为不利政府行动（如监管或法律行动）对象的个人或组织，都必须有机会获得至少与政府在特定行动中所被允许使用的AI同样强大的AI，这似乎很重要。 这将意味着不给政府带来不公平的优势，以免实际上破坏公民的合法权利。 这可以作为《行政程序法》、正当程序保护或第六修正案获得法律代理的权利的延伸或解释来添加。

最后，值得注意的是，在AI驱动的夺权方面，政府并不是我们唯一应该提防的实体。 在历史的不同时期（比如美国的镀金时代或英国的东印度公司），公司变得足够强大以至于他们俘获了国家或采用了准国家的特征。 AI很快就会变得如此强大，以至于我担心它无法安全地完全托付给政府或公司，并且必须对每一方都有制衡机制。

监管是关于如何约束（rein in，习语，意为控制、约束）公司的一种答案（我对此的想法见第1节），但同样重要的是，AI公司必须比典型的私人实体具有更多的权力分配和问责制。 Anthropic的长期利益信托基金（一个旨在督促公司履行其使命的独立治理机构）就是这样一种结构，并且行业应继续探索走得更远的机制。 取得恰当的平衡——让公司和政府各自的权力都能受到有意义的制约——是至关重要的。

5. 确保民主国家的领导地位

把新技术在地缘政治上视为贸易政策的工具，以“在世界范围内扩散我们的技术栈”为目标，这已经成为一种普遍的本能，也许是从最近互联网和电信行业的经验中发展而来的。 但我非常坚定地认为，AI是某种更深刻的东西，它重置了整个棋盘，而未来所有的地缘政治战略都必须围绕它来制定——就像核武器一样，但潜在地甚至影响更大。

如果AI真的很快就会成为“数据中心里的天才国度”，或者任何与其有些接近的东西，那么AI极有可能成为任何国家军事和经济力量的主要来源。 在一个拥有1亿个天才的虚拟国家中，可以将1000万个应用于军事战略，1000万个应用于无人机制造，1000万个应用于武器研发，1000万个应用于情报收集和分析，1000万个应用于一般科学的进步，等等。 一个拥有强大AI的国家面对一个没有AI的国家——或者甚至面对一个在AI方面落后3年的国家——其差距可能等同于一支二战海军陆战队面对一支中世纪剑客军队。

此外，如果强大的AI能够实现更深层且可能是永久性形式的专制镇压（见第4节），这就使得确保世界上最强大的国家是民主国家显得尤为重要——或者至少存在针对AI驱动的镇压的强大保护措施。 这也增加了制定一项具有针对性的地缘政治战略的紧迫性。

民主国家应寻求建立一个以根据共同价值观构建AI为中心的全球联盟，迭代地试图拉拢世界其他地区，使加入该联盟变得越来越有吸引力，而置身其外的吸引力越来越小。 该联盟应该是对第1至第4节中讨论的AI政策思想的协调一致的国际化，外加一项通过在联盟内部共享并拒绝向外部人员提供来锁定构建AI所必需的关键供应链的努力。 一些原则和运营目标可能包括：

管理AI供应链。 值得信赖的联盟成员应自由地相互分享芯片和半导体制造设备（SME），同时协同努力拒绝对手获取它们。 美国对前沿芯片和SME向中国出口的管制，是美国在AI领域保持整体领先的主要原因之一，这些政策需要与其它志同道合的国家扩大、收紧并协调。 诸如MATCH和OVERWATCH之类的未决立法在此是一个很好的起点，盟友民主国家需要考虑采取类似措施。

• 协调以应对AI的风险。 如果在国际上进行协调，第1节中描述的旨在应对生物、网络安全和自主性风险的政策将更为有效（同时对行业的负担也较小）。 这将意味着公司能够遵守相互兼容的标准，监管机构也能相互学习如何最好地衡量和减轻这些风险。 执法和情报机构也应该更紧密地合作，追踪并阻断滥用威胁，比如恐怖分子企图利用AI制造生物武器。
• 分享AI的收益。 贸易和监管政策可用于促进AI经济收益在联盟内更快速的扩散，共享如何加速创新的经验教训。 协调有益部署的方法可以帮助将AI的好处带给发展中国家。 例如，医疗审批制度的统一可使得AI赋能的药物得以更快、更好地进行测试和审批（如上文第3节所述）。
• 共同防御。 联盟中的国家应合作利用AI进行自我防御，并防御对手的AI。 联盟应该集体确保AI主导的网络防御、AI驱动的无人机、AI驱动的制造、机密的AI算力、AI驱动的研发以及AI驱动的情报收集共享的充足生产。
• 拒绝由AI赋能的镇压。 联盟成员必须拒绝我在《技术的青春期》（The Adolescence of Technology）中警告过的高科技、极端专制、由AI赋能的暴政，并且必须具备与我在上述第4节中描述的类似的安全保障。
• 宏观经济合作。 就业或工作稳定性危机，同任何其他经济危机一样，具有跨国传染性。 因此，各国具有合作协调宏观经济支持和稳定政策（如第2节所述）以抵消任何就业影响的共同利益。

目标应该是让联盟的成员资格变得尽可能具有吸引力——并让留在联盟之外的代价一目了然。 该联盟将立足于主权国家之间的协调，每个国家都保留对其本国事务的完全控制权。 它可以迭代发展，从意识形态一致的民主国家（自然容易加入）开始，并逐步欢迎那些不那么自然契合但准备好满足联盟标准以换取其巨大成员利益的国家。 理想情况下，整个世界最终都会加入。 但即使这不可能，建立该联盟也能让民主国家处于最强有力的地位，去遏制和超越那些执迷于压迫政权的政权。

机会之窗

AI的指数级进步带来了政策制定过程通常缺乏装备来应对的紧迫性和变革步伐。 但它也创造了一个独特的机会之窗。 AI风险清晰而现实的证据、对其在创造经济价值和破坏经济两方面潜力的早期体验、以及公众对不受约束处理AI方式的强烈反弹交织在一起，形成了一种政策制定者对前瞻性行动异常开放的局面。 树须和他的森林正在醒来。

把这视为一个公关问题在AI行业圈子里已经变得很流行：也就是说AI需要“更好的营销”。 我完全拒绝这种框架。 人们之所以对AI感到担忧，是因为他们正确地察觉到了它的风险是真实存在的，而不是因为AI首席执行官们表现得不够“庞格罗斯式（Panglossian，文学典故/形容词，指盲目乐观的）”。 我认为，作为一名AI领导者，我的职责是继续对这些风险保持透明，而公众对这种透明度的担忧构成了民主问责制在其应有方式下的运作。 关键的挑战在于将这种关切集中到建设性的解决方案中，不让它沦为无形的愤怒和暴力。

我对找到解决方案持乐观态度，因为许多问题——从解决失业问题到模型发布前测试，从芯片出口管制到能源消耗等其他AI相关政策问题——在整个政治光谱中都具有常识性的吸引力。 有一个令人向往但又很现实的未来世界，在那里，一个广泛的无党派联盟，在直接认识到AI带来的挑战的驱动下，将比往常快得多地通过理智而具有前瞻性的政策。 我们越早做到这一点，就能越早共享AI令人难以置信的益处。

我想感谢Allan Dafoe、Mariano-Florentino Cuéllar、Richard Fontaine、Buddy Shah、Vas Narasimhan、Matt Yglesias、Nick Beckstead、Jason Matheny、Brad Carson以及Anthropic的许多员工，感谢他们对本文草稿提供的意见和反馈。

脚注

我在我的文章《技术的青春期》（The Adolescence of Technology）中讨论了生物风险和自主性风险，以及其他内容。 Anthropic研究所也在《当AI自我构建时》（When AI Builds Itself）中公布了一些关于递归自我改进的可能性的初步内部数据，即模型能够自主地构建更好的模型。

这种现象并非理论上的：我们在自己的自愿性治理框架（如我们的负责任缩放政策/Responsible Scaling Policy）中多次观察到了这一点。 如果我们给未来的AI模型设定了一份固定或僵化的安全要求清单，一个非常可能的结果是，那些事实证明无关紧要的要求最终消耗了我们95%的合规努力，而与此同时，我们发现一些最大的风险来源在我们的清单中完全没有预料到。 自愿性框架可以改变和调整，但对于立法来说这要困难得多。 我对这一困境的努力应对，可以从我就SB 1047公开发表的两封信中看出，那是2024年加利福尼亚州一项试图解决灾难性风险的法律，由于上述原因，我对其感受十分复杂。

例如，真正严重的生物风险可能比网络风险更难管理，因为攻击者相对于防御者具有很大的优势，而且灾难的严重程度可能要大得多。

请参阅《技术的青春期》以获取更详细的分析，了解为什么在其他技术中导致劳动力市场快速复苏且没有产生持久劳动力替代的逻辑可能不适用于AI，特别是为什么通常的适应机制如杰文斯悖论（Jevon’s paradox）或比较优势可能会被技术的步伐所压倒。

例如，人们仍然把一生奉献给下国际象棋或围棋，或者攀登高山，并且仍然因为这些活动而备受尊崇，尽管机器能在所有这些方面都做得更好。

这实际上给了人们一个额外的激励去跳槽并开始接受新职业阶梯的培训，即使在短期内可能会很痛苦，如果在薪水降低的情况下，通过支付他们新旧薪水之间的差额来实现。

有关此主题的更多信息，请参见《技术的青春期》。 （本文首发钛媒体APP，作者 | 硅谷Tech_news，编辑 | 林深）