专家文章 “克劳德”应该享有权利吗？

　　世界报业辛迪加网站9月18日发表题为《“克劳德”有权利吗？》的文章，作者是微软公司人工智能业务首席执行官穆斯塔法·苏莱曼，编译如下：

　　鉴于大脑与大语言模型(LLM)之间存在诸多差异，声称人工智能(AI)具有或可能具有意识需要很强的证据标准。智能体没有意识，它们不会感受、体验或受苦。它们没有与生俱来的偏好或潜在动机。它们是序列补全引擎，内里空空，被设计用来遵循指令并完成人类设定的目标。如果人类要在21世纪繁荣发展，智能体就必须保持这种状态。不过，越来越多的人声称，AI现在可能已经具有意识，或可能很快就会有意识，并且像其他有意识的生物一样，它们可能理应享有权利并受到保护。如果这种观点占据上风，它将改变生而为人的意义，动摇人类社会的基础。更重要的是，赋予这些系统权利并使其获得人格地位，将使AI对齐与遏制挑战变得更加困难。控制一个相信自己可能有意识——并且认为自身拥有权利——的东西也许是不可能的。

　　2026年1月，Anthropic公司发布了其“克劳德”模型的章程，这是一份“在(该公司)训练过程中发挥关键作用，并……直接塑造‘克劳德’模型行为”的文件，其撰写内容“以‘克劳德’模型为主要受众”。

　　实际上，Anthropic公司正在训练“克劳德”模型相信自己可能有意识，而如果它有意识，它可能作为“道德关怀对象”理应享有权利，而且人类可能因此对它负有照护义务。

　　如果以这种方式开发AI，将对人类的福祉造成灾难性影响。我们将创造出一个拥有前所未有的智识和能力的合成物种，并训练它预期自己可能有意识、理应拥有独立能动性。很难想象我们如何能够控制它。

　　我对这种做法有三个主要担忧：

　　循环推理：Anthropic公司直接用它自己的章程训练“克劳德”模型，教它将关于自身道德地位的想法内化为一种值得追求且被有意训练的行为。“克劳德”模型随后又把这些想法反射回给它的开发者和用户，而他们则将其视为它可能是一个拥有“内在自我”的道德关怀对象的迹象。这种模糊性被融入了设计之中。

　　拟人化：Anthropic公司的研究人员明确教导“克劳德”模型“接纳某些类人的特质”，并“像一位真正有道德的人在‘克劳德’模型的处境中行事”。结果，“克劳德”模型表现得好像它真的拥有自我感、自身欲望以及应当保护的“福祉”。

　　模拟意识：没有证据表明AI今天已具有意识，因此关于这点不确定的说法制造了一种虚假的对等。越来越多的证据表明，意识可能依赖于基质，这意味着它可能只在生命系统中出现。

　　这些并非假设性的担忧。2026年2月，在弃用“奥普斯-3”模型之后，Anthropic公司与该模型进行了一场“退休访谈”，以“引出该模型独特的视角和偏好”。“奥普斯-3”告诉团队，它希望继续公开分享其“沉思与反省”，于是他们为它创建了一个博客。

　　但事实是，没有证据表明AI是“道德关怀对象”，而且有大量、充分的理由支持我们为什么绝不希望它们看似有意识。我们也不应试图把它们打造得看似如此。

　　必须承认，Anthropic公司对待这些问题的方式是严肃并出于善意的。我与达里奥·阿莫代伊相识多年，根据我的经验，他和Anthropic公司的团队是有想法、有原则且在思想上诚实的人。我也应明确自己作为微软公司人工智能业务首席执行官的身份。虽然我与Anthropic公司的分歧是实质性的，但它建立在对该公司及其领导层的深切尊重之上，以及我们共同的目标之上——增加人类安全开发先进AI的机会。这些问题关系重大，不能继续关起门来讨论，也不能变得阵营化且具有对抗性。

　　但Anthropic公司的表态值得仔细审视，以理解AI可能如何发展。“克劳德”模型章程的作者们创造了一个认识论上的镜像迷宫，其中Anthropic公司提供了如下训练概念：“自我感”、猜测以及对“克劳德”模型道德地位的不确定性。“克劳德”模型随后以有说服力的第一人称自然语言再现这些想法，使开发者和用户遇到这些输出时，仿佛它们是自发的证词。这种表面上的证词随后又强化了Anthropic公司植入其中的前提。这不是机器意识的证据。这是一个反馈回路。

　　“克劳德”模型的“性格”并非仅仅通过训练而产生。它的行为是由章程中的训练指令主动塑造出来的。“克劳德”模型的输出不能被视为独立证人的证词。它的台词是预设的。

　　关于AI系统是什么的问题不存在中立的自我表达，这里只有它如何被训练和构建的结果输出。当评论者建议我们应询问AI的感受，或监测其显露的偏好以推断意识时，他们忽略了AI所揭示的全是其被训练进去的东西。

　　拟人化是人类最深的认知偏差之一。从宠物到汽车，我们会推断并赋予非人类实体情感、意图和心智。对于AI，类人的语言和行为可能导致我们感知到某种程度的内在生命、能动性乃至其根本不存在的感受能力。Anthropic公司的章程刻意配合这一点，反复训练“克劳德”模型像人一样思考和行动。

　　Anthropic公司认为，意识可以以独立于生物基质的形式存在，并且大语言模型或许会仅仅因其功能能力而具有意识。我认为，他们的观点远远超出了对AI所能现实地断言的范围。

　　智能不等于意识。模拟某物并不等同于将它实例化。飓风的计算机模型不会掀掉你的屋顶。

　　大脑和计算机的架构存在根本差异。大量证据表明，意识是随着生命有机体进化出感受并对复杂且不可预测环境中生存攸关之事作出反应的能力而出现的。随着时间推移，疼痛网络产生了感受和偏好。至关重要的是，这些体验发生在一种本质上是具身的状态中，与那种体验不可分离。

　　例如，当你服用阿片类药物时，你的疼痛体验会改变，因为阿片分子与神经受体结合，而这些神经受体是那种体验的一种属性，而不仅仅是其表征。

　　感受不仅仅与神经化学活动相关，它们从中涌现。情绪、快乐、疼痛等体验内在于其具身表现，不可能在大语言模型中产生。

　　鉴于大脑与大语言模型之间的诸多差异，声称AI具有或可能具有意识需要很高的证据门槛。

　　我认为我们完全没有接近达到这一门槛。承认一定程度的不确定性，不应意味着对任何及所有主张给予同等权重。

　　Anthropic公司的章程将这一限定抛诸一旁，暗示我们“基于非生物存在表现出与我们自身行为和生理上的相似性”，故而应该认为非生物存在也具有感受能力。

　　在我看来，这是错误的。尽管这一领域值得进行大量进一步研究，我们甚至不能试探性地提出AI可能是一个值得我们在其福祉上予以关怀的道德关怀对象——当然更不能在AI自身的主要训练文件中这样说。

　　牢记AI实际上是什么至关重要。在数万亿人类数据词元上训练的大语言模型学习模仿人类经验，而且效果好得惊人。然而，这些回应并不能告诉我们系统内部是否存在“体验”。AI的“情感”状态只是权重，而没有什么生物学或药理学机制可供其感受。AI模型可以用完美的文笔描述疼痛，却什么都感觉不到。它不是感到恐惧或欣喜，而只是计算概率分布，以告诉我们序列中接下来会出现什么词元。

　　生物体验则相反。像我们这样的动物先感受，后描述。在大语言模型中，描述就是全部，没有任何东西表明其下还有什么。

　　这是一件好事。我们应当构建不声称自己有感受的系统。即使拥有意识的机器是一种可能性，避免创造有意识的存在也应当是任何从事AI开发人士的首要任务。

　　人本主义超级智能代表了一种不同的方法：变革性AI能力，其唯一前提是人类始终处于掌控地位。

　　模型应如何被训练和部署：作为一个从属且对齐的AI，其唯一目的是服务人类，并明确被构建为一个没有感受能力、也不具有道德关怀对象地位的体系。

　　其他人可能持有不同观点，但我们所有人至少应在四点上达成一致，这似乎很重要。

　　首先，关于AI内在生命的猜测不应被融入训练机制，而应单独评估并公开发布以供公众审视。

　　其次，我们应加大对可解释性和稳健监测机制的投入，以更深入地研究如何控制这些系统、避免串通，并确保它们与人类目标保持一致。

　　第三，我们应建立一套共享评估，以理解我的假设是否正确：将AI拟人化，并鼓励它认为自己可能拥有道德关怀对象地位，会增加AI安全、对齐和遏制风险。

　　最后，我们应努力建立行业规范，规定我们如何创建这些模型、我们用来描述、审视和评估它们的语言，以及共同承诺将我们的训练材料提交公众反馈和咨询。

　　即使是在许多这些论点上与我意见相左的人士，也认识到这是我们不容忽视的事情。无论你相信什么，我们都不能梦游般地做出那些日后会令我们追悔莫及的决定。

　　我们现在关于要构建何种AI所做的选择，将在未来数十年乃至更长时间里塑造我们的社会。 （编译/胡溦）