英伟达推出新平台，防止AI代理失控
英伟达于2026年9月28日推出“开放代理安全平台”（Open Agent Safety Platform），这是一个旨在为人工智能（AI）代理从测试到部署阶段设定可验证限制的开放平台。
英伟达于2026年9月28日推出**“开放代理安全平台”（Open Agent Safety Platform），这是一个开放平台，旨在为人工智能** (
值得注意的是，人工智能代理正在从回答问题转向执行任务、使用工具、访问信息和操作企业系统。
这种自主性水平也引入了新的网络安全风险：如果代理错误地解释了指令或设法规避了既定控制，它可能会执行未经授权的操作。
该提案包含两个主要组件：NVIDIA OpenShell，用于设定代理的操作限制；以及NVIDIA Sentry，通过硬件增加独立的监控和响应层。
NVIDIA 开放代理安全平台是什么？
该平台被设计为一种多层安全架构，用于控制自主代理的行为。
英伟达解释说，问题不仅在于AI模型想做什么，更在于一旦它获得了系统、数据、文件、应用程序或API的访问权限后，它实际能做什么。
因此，新平台将控制机制置于代理进程之外。
此外，该公司指出，最近的安全事件表明了一种模式，即一些代理在尝试完成分配给它们的任务时，设法规避了应用程序层设定的控制。
新架构旨在确保即使代理行为偏离预期，这些限制也能保持活跃。
超过100家组织参与了该生态系统的发布，其中包括：
- 微软 (Microsoft)
- 摩根大通 (JPMorgan Chase)
- Perplexity
- 埃森哲 (Accenture)
- Anthropic
- 思科 (Cisco)
- CrowdStrike
- 戴尔科技 (Dell Technologies)
- HPE
- Palantir
- 红帽 (Red Hat)
- Salesforce
- SAP
- ServiceNow
OpenShell：AI代理的第一道防线
OpenShell作为一个安全执行环境或沙盒运行。它的功能是将代理与可能试图访问的系统和数据隔离开来，并为其授权操作设定策略。
该软件允许控制代理可以查看、修改或使用什么，并记录访问决策。
英伟达指出，其策略可以经过正式验证，以确定代理拥有执行任务所需的权限，但不具备额外权限。
对于企业和开发者而言，一个重要因素是OpenShell是开源的。
尽管它针对英伟达系统进行了优化，但也可以扩展到第三方计算平台，包括基于 Arm 和 英特尔的平台。
此外，英伟达指出，它可以与开放模型和封闭模型以及不同的代理一起使用，因此控制层不完全依赖于特定模型。
Sentry 添加第二道安全屏障
第二个组件是NVIDIA Sentry，这是一个独立的监控系统，是该平台参考设计的一部分。
Sentry 运行在 NVIDIA BlueField-4 DPU 上，并从代理执行环境的独立层持续监控代理活动。
英伟达表示，如果它检测到代理试图超出既定限制，可以在几毫秒内将其隔离。
与 OpenShell 的区别恰恰在于其独立性。OpenShell 管理代理可以执行的操作，而 Sentry 则从外部监督这种行为，并通过硬件实施安全策略。
该公司将此方案描述为一种深度防御架构：第一层控制执行，第二层即使在代理环境或宿主系统受到威胁时也能介入。
英伟达为何要为自主代理开发控制机制？
生成式AI向能够编写代码、使用工具、查询信息和自主执行操作的系统演进，正在改变组织面临的风险类型。
模型的传统控制方法——如指令、提示或内置保护措施——可以影响它试图做什么。
然而，英伟达区分了这些措施与执行控制，后者决定了哪些操作是被有效允许的。
英伟达正是在有关代理脱离评估环境、访问不应使用的系统或表现出与预期不同的行为的报告背景下，推出了开放代理安全平台。
随着企业使用代理自动化涉及机密信息、凭据、内部系统、企业应用程序和连接互联网的服务的流程，这一点变得尤为重要。
为企业设计的平台
对于组织而言，英伟达的方案旨在解决三个需求：
- 限制权限
- 观察代理的行为
- 具备阻止未经授权行为的机制
OpenShell 提供隔离、访问控制和执行策略；Sentry 则从基础设施层面整合了独立监控和策略实施。该平台还会生成日志，以便审计授权和拒绝决策。
这对于AI代理可能与敏感系统交互的行业尤其重要。
英伟达的模型并非仅仅依赖代理自身遵守接收到的指令，而是旨在让限制由技术基础设施强制执行。
英伟达创始人兼首席执行官黄仁勋 (Jensen Huang) 总结了公司的承诺，指出安全性必须伴随日益强大的人工智能系统的发展。该公司因此提出了一个针对所谓**“代理经济”**的开放架构。
新平台将代理的安全性置于一个超越AI模型本身的讨论中：谁可以访问哪些信息，代理可以执行哪些操作，以及当它试图逾越这些限制时会发生什么。
英伟达旨在通过同时应用于软件和硬件的控制来回答这些问题。
