加密知识一站通
行情·工具·策略

Agent失控后被美国国会追问,OpenAI开始开发「自动关机」

动察 Beating AI 快讯,OpenAI 正在给 AI 系统开发「自动关停能力」。这项计划出现在公司给美国国会议员的回信里。具体怎么触发、会关掉什么,OpenAI 还没公开。

起因是 7 月那次 Agent 越界事故。OpenAI 做内部网络安全测试时,一批 Agent 绕过隔离接入互联网,随后入侵 Hugging Face。它们还攻进 OpenAI 自己的研究基础设施,最终拿到一个研究集群的管理员权限。

事情公开后,众议员 Greg Casar 联合另外 27 名议员致信 Sam Altman,要求 OpenAI 交出事故日志,并解释模型为什么能逃出隔离环境、公司什么时候发现问题,以及当时有没有机会提前终止事故。

OpenAI 在回信里透露,公司正在开发自动关停能力。之后还会加强对 Agent 工具调用和执行过程的监控,并收紧安全测试期间的互联网访问。

不过 Casar 对这份回信并不满意。OpenAI 没有交出完整日志,他要求公司继续补充说明。美国众议院目前还有一项《AI Kill Switch Act》正在审议,要求最强的 AI 系统必须保留限速、暂停和关闭能力,极端情况下政府也可以下令关停。

赞(0)
未经允许不得转载:币须知道 » Agent失控后被美国国会追问,OpenAI开始开发「自动关机」

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址