Cohere在Azure的H100上公测Model Vault机密推理
Cohere称Model Vault机密计算进入公开测试，用CPU与GPU机密执行、OHTTP请求加密和远程证明，让客户在发送敏感请求前核验环境；公司同时说明侧信道、可用性、提示注入和元数据等仍不在防护范围内。
AI解读：Cohere发布博客，说明Model Vault机密计算在Microsoft Azure上使用NVIDIA GPU进行公开测试（public beta），当前运行于H100，并称正推进对NVIDIA Blackwell（含B200）的支持，以走向正式可用（general availability）。
Cohere称其目标不止于加密推理，而是减少客户需要以明文数据信任的基础设施，并在释放敏感信息前提供可核验的密码学证据。
实现包含三层：在机密虚拟机内运行模型服务栈，并由NVIDIA GPU机密计算把保护边界延伸到加速器、加密CPU与GPU通信；用OHTTP把应用负载加密到已证明环境的公钥，使中间设施只看到密文；客户客户端按批准策略核验远程证明证据，不匹配就拒绝发送请求。
Cohere明确列出保护边界之外的内容：物理与侧信道攻击、拒绝服务与可用性、提示注入和工具调用等应用层漏洞，以及请求时序、消息大小、流量和路由等可观察元数据；API凭据和模型标识也不在OHTTP保护的负载内。
Cohere称信任并未消除，仍需信任底层机密硬件、固件、环境内被测软件、参考测量值和证明基础设施，但这些信任变得更小、可度量、可核验；公司还表示计划开源该机密推理栈，基于Kata Containers和Confidential Containers。
Cohere在博客中介绍Model Vault的机密推理方案。公司称该机密计算能力已在Microsoft Azure的NVIDIA GPU上进入公开测试，当前使用H100，并正推进对NVIDIA Blackwell（含B200）的支持，目标是走向正式可用。
Cohere把目标描述为：减少客户需要以明文数据信任的基础设施，并让客户在释放敏感信息之前获得可核验的密码学证据。以下机制和效果均为Cohere的说明，博客未给出第三方评测或客户部署数据。
机密边界从CPU延伸到GPU
Model Vault把模型服务栈放进机密虚拟机，操作系统、驱动、推理服务器及其内存由硬件隔离保护，主机环境不能直接读取。Cohere称工作负载还受策略约束，只允许经批准的软件运行，运维人员没有进入工作负载的交互通道。
Cohere指出，推理的大量计算在加速器上完成，如果只保护CPU而GPU在机密边界之外，模型状态和中间计算仍可能暴露。因此它使用NVIDIA GPU机密计算保护GPU内存，并加密CPU与GPU之间的通信，使保护边界覆盖实际执行推理的系统。底层基础设施由Microsoft Azure提供。
请求负载加密与客户侧核验
Cohere称TLS只保护连接，不能保证服务运营中的每个中间环节都接触不到明文，因此Model Vault用Oblivious HTTP（OHTTP）把敏感请求内容加密到与已证明机密环境关联的公钥。密文可经过中间设施传输，只有机密环境内的OHTTP网关持有私钥并解密；响应沿返回路径做同样保护。Cohere称应用仍使用原有Model Vault API和请求格式。
远程证明用于回答“实际运行的是什么环境”。Cohere称机密环境会产生描述硬件、固件、运行环境和应用软件的签名证据，客户客户端把证据与获批策略比对；若软件测量值变化或GPU未处于要求的机密模式，核验失败，客户端拒绝发送受保护的负载。证明证据会频繁刷新，每次刷新后重新核验。
Cohere列出的保护范围与剩余风险
Cohere称在其威胁模型内，提示词、文档、响应和模型执行过程受到保护；主机操作系统、hypervisor、基础设施管理员、云提供商和Cohere运维人员无法读取受保护的工作负载内存，应用负载在穿越中间设施时也保持加密。
Cohere同时列明边界之外的风险：物理和侧信道攻击可能通过时序等共享硬件行为间接推断信息；运营方虽读不到工作负载，仍可能停止、延迟或阻止其运行，机密计算本身不提供可用性保证。环境内的软件仍需自行保证安全，提示注入、不安全的工具使用、授权错误和应用漏洞不会因放入机密硬件而解决。请求时序、消息大小、流量和路由信息仍可被观察；在当前架构中，用于认证和路由的API凭据与模型标识也不在OHTTP保护的负载内。此外，Cohere称机密计算不替代应用安全、数据驻留机制、合规与合同控制，也不是同态加密，模型仍在受保护环境内以明文运行。
仍需信任的组件与开源计划
Cohere称信任没有被完全消除。仍须信任底层机密计算硬件、固件、环境内被测软件、定义获批配置的参考测量值，以及评估和签名证据的证明基础设施。区别在于这些信任可以被度量，并由客户侧核验在数据释放前检查。
Cohere表示该方案基于Kata Containers和Confidential Containers等开源技术，并打算开源机密推理栈，让客户和研究人员检查实现、理解所执行的策略并复现核验用的测量值。公司称公开实现和可复现测量有助于安全团队自行评估。