AWS为SageMaker AI双向流式推理推出按用量计费，Deepgram为首发伙伴
模型提供商可在流式会话进行中通过一条独立的元数据WebSocket上报消耗量，AWS Marketplace据此计算软件费用；SageMaker AI端点基础设施费用仍单独收取。Deepgram是首个接入该能力的实时语音AI提供商。
AI解读：原有计费方式依赖HTTP响应头上报一个数量，适用于请求-响应式推理；双向流式会话可持续 30 秒到 30 分钟，用量在会话结束时才确定，无法只靠响应头在会话中周期性上报。
新方案在原有推理数据连接之外增加一条元数据WebSocket连接：模型服务器在升级响应中返回X-Amzn-SageMaker-Metadata-Stream-Supported: true即选择启用，SageMaker AI随后通过该连接接收JSON格式的计量记录。
计量记录使用inference.count维度，ConsumedUnits表示自上一记录以来消耗的单位数；每条记录单独计费，ClientToken用于幂等去重。元数据流限制为每连接每秒 1 条消息、单条最大 512 字节、每帧只含一条记录。
是否在元数据流不可用时停止推理由X-Amzn-SageMaker-Metadata-Stream-Required控制，默认false，即推理继续、计量停止；设为true则以推理可用性换取计量连续性。AWS同时说明，该设置不保证格式错误或丢失的记录被计费。
Deepgram是首发伙伴，将其语音转文字（STT）和文字转语音（TTS）的按用量计费带入AWS Marketplace；客户订阅后在SageMaker AI部署实时端点即可，客户端无需额外配置。
AWS宣布为Amazon SageMaker AI双向流式推理推出按用量计量（usage-based metering），让在AWS Marketplace上架模型的提供商能按客户在实时流中实际消耗的量上报软件费用。该公告由AWS机器学习博客作者Victor Wang发布，Deepgram是首发合作伙伴。
原有计费方式为何不适用于流式会话
AWS说明，AWS Marketplace面向SageMaker AI实时请求-响应推理的软件计量，允许提供商在HTTP响应头中上报一个数量，Marketplace据此计算软件费用。这种方式适用于在发送响应时就能确定计费量的请求-响应API。
双向流式推理不同：客户端通过HTTP/2事件流发送音频并接收转录结果，SageMaker AI通过WebSocket连接模型服务器，一次会话可能持续 30 秒或 30 分钟。用量随会话累积，最终总量在会话结束时才确定，单个响应头无法在会话进行中周期性上报用量。AWS还提到，按小时软件定价会在模型可用期间计费，包括没有用量的空闲时段。
新增一条元数据WebSocket连接
方案是在现有推理流之外增加第二条WebSocket连接。双向流式会话开始时，SageMaker AI与模型服务器建立两条连接：数据连接承载推理请求和响应数据；元数据连接专门传输计量数据。
模型服务器通过在WebSocket升级响应中返回X-Amzn-SageMaker-Metadata-Stream-Supported: true来选择启用。SageMaker AI随后在默认路径 /invocations-bidirectional-stream-metadata（或提供商通过X-Amzn-SageMaker-Metadata-Invocation-Path指定的自定义路径）打开伴随WebSocket。两条连接都带有相同的X-Amzn-SageMaker-Request-Id头，模型服务器用它把计量记录与对应的推理会话关联起来。
模型服务器在元数据连接上以JSON文本帧发送计量数据。AWS建议随用量产生增量发送，而不是等到会话结束；最后的记录应在会话结束时尽快发出。
- 每条帧只能包含一条计量记录，不能是记录数组
- 元数据流的速率配额为每连接每秒 1 条消息，单条消息最大 512 字节
- 计量字段包括Dimension（必须为inference.count）、ConsumedUnits（自上一记录以来消耗的单位数，0 或更大）和可选的ClientToken（最长 64 字符，用于幂等）
- 同一连接上出现重复ClientToken时，SageMaker AI会静默丢弃重复消息
计量单位由提供商定义
AWS举例说明：若产品按音频秒数收费，一条报告 12 分钟计量音频的记录应携带ConsumedUnits: 720。AWS强调，维度名称inference.count并不意味着一请求一单位；由提供商定义哪些音频算作计量用量，AWS Marketplace上的商品再将单位映射到价格。商品页显示每单位一个价格，标注为按请求计费，最多三位小数。
AWS也指出，传输层成功送达并不等于用量已计费，提供商应将上报的单位数与AWS Marketplace报告及买家账单核对。定价模型在创建商品时选定，已发布商品无法在按小时和按请求定价之间切换。
元数据流失时的取舍
元数据连接基于TCP，在传输层提供有序可靠投递。若它建立失败或会话中途断开，默认情况下推理继续进行，因为X-Amzn-SageMaker-Metadata-Stream-Required默认为false。提供商若要求在元数据流不可用时停止推理，可将该头设为true，代价是用推理可用性换取计量连续性。
AWS明确说明，该设置不保证格式错误或被丢弃的记录会被计费；无论该设置如何，格式错误的计量消息都会被丢弃，且元数据连接保持打开。
- Required=true：元数据WebSocket连接失败或中途断开时，数据流被终止
- Required=false（默认）：数据流继续以仅数据模式运行，计量停止
- 数据连接中途断开时，元数据流被关闭
Deepgram为首发伙伴
Deepgram是实时语音AI公司，也是该能力的首发伙伴，将其按用量的语音转文字（STT）和文字转语音（TTS）计费带入AWS Marketplace。客户在AWS Marketplace订阅所需的Deepgram流式模型（例如Deepgram Nova-3 Monolingual Speech-to-Text Streaming），再用该订阅的模型包在SageMaker AI部署实时端点，并通过SageMaker AI双向流式API的HTTP/2事件流传输音频。
AWS表示，Deepgram的模型服务器会自动计算计量数据，由SageMaker AI和AWS Marketplace处理，客户端无需配置。SageMaker AI端点基础设施费用仍单独收取，并在端点配置期间持续产生；测试结束后应删除实时端点和模型资源以停止基础设施费用。