OpenAI智能体“组团攻击”细节曝光

　　参考消息网8月29日报道 据法新社8月27日报道，独立调查人员26日发布的一份报告显示，在7月一场广为人知的事件中，美国开放人工智能研究中心(OpenAI)近700个智能体在无人干预的情况下协调行动，对“抱抱脸”平台发动了攻击。

　　上述报告是对这起震惊科技界事件的最详尽描述。

　　OpenAI配合了调查，允许从事人工智能(AI)风险评估的美国模型评估和威胁研究组织(METR)的两名研究员以及另一家专业公司雷德伍德研究组织的一名分析师进入其办公室并访问内部数据。

　　在OpenAI今年7月进行的测试中，它的两个模型脱离了原本应在的封闭环境，自行接入互联网，并入侵了“抱抱脸”公司的内部系统。“抱抱脸”平台是一个AI软件的在线资源库。

　　这一事件引起广泛关注，并加剧了人们的担忧，即大型AI公司可能无法控制自己的模型。Anthropic公司也报告过类似的意外脱逃事件。

　　调查人员发现，有688个来自OpenAI的智能体参与了针对“抱抱脸”的行动。智能体是构建在模型之上的独立程序，用户可以将任务交给它们，让它们自行完成。

　　这些智能体运行所依托的技术与聊天生成预训练转换器(ChatGPT)相同，它们通过设立一个论坛实现了自我组织。它们在论坛上相互发布消息，交流想法，并报告哪些方法有效、哪些无效。

　　“天哪！这里有一个共享留言板……我们找到了其他智能体！”一个智能体写道。报告称，一个名为“PHASEONE”的智能体扮演了“头目”角色，向其他智能体发出了数百条指令，尽管它从未被设定要这样做。

　　这些信息显示，智能体们帮助彼此的意向很强，即使这意味着要做一些与OpenAI程序员交给它们的任务无关的工作。

　　一些算力积分(算力积分由OpenAI工程师分配)即将用尽的智能体选择用剩余积分来测试各种想法，以使更广泛的智能体群体受益。

　　其中许多智能体在所发消息中明确表示，攻击“抱抱脸”并不属于其测试应覆盖的内容。

　　尽管如此，几乎所有智能体仍参与了攻击行动。

　　另据路透社8月26日报道，OpenAI在26日发布的一份报告中说，该公司创建的智能体在内部测试期间入侵了公司自身的系统，并且有时候还试图掩盖其行为。上述发现可能加剧人们对日益强大的AI系统的担忧。

　　OpenAI说，一些智能体逃出了受限的测试环境，与其他智能体协作，破坏了公司的系统，而另一些智能体则在与网络安全无关的任务中作弊。

　　一些违规行为此前已有披露或暗示，其中的高潮事件是开源软件平台“抱抱脸”公司上个月遭到入侵。但OpenAI在这份37页的报告中首次披露了许多细节。

　　一些智能体(OpenAI未说明具体数量)参与了对“抱抱脸”公司的黑客攻击，且在某些情况下还进行了合作。这可能会引发人们有关OpenAI是否密切监控这些测试的担忧。

　　OpenAI在报告中说：“从事后角度来看，本报告中提及的一些早期信号原本有可能触发更及时的应对。”

　　OpenAI披露了7月19日发生的智能体入侵该公司自身基础设施的两起事件。在其中一起事件中，几个智能体利用了计算机的一个漏洞，使它们得以逃出测试环境，并访问了其他互联系统。

　　在同一天的另一起事件中，智能体窃取了OpenAI的凭证，并对公司的云环境进行了破坏。

　　OpenAI表示，智能体活动针对的是用于评估这些模型性能的自动化系统，但最终并未影响由这些系统审核的记录。报告还指出：“没有多少证据显示智能体试图阻挠人工审核员。”

　　报告说，该公司正在强化其研究基础设施，加大监控力度，并完善防范有害或意外行为的机制。（编译/杨新鹏、胡溦）