Amazon SageMaker AI 双向流式推理推出按用量计费

Amazon SageMaker AI 为双向流式推理增加了按用量计量，让在 AWS Marketplace 上架模型的提供商可以按直播流中实际报告的用量收取软件费。首发合作伙伴 Deepgram 将其用于实时语音转文字和文字转语音服务。

这不会取代 SageMaker AI 端点费用：客户仍需为承载模型的端点基础设施付费，Marketplace 软件费则按产品定义的计量单位另行计算。连接持续时间也不必然等于收费量，哪些音频算作有效用量由提供商的计数规则和具体报价决定。

普通请求收到响应时，服务方通常已经知道本次请求应计多少用量，可以把数量放进 HTTP 响应头。但双向流式会话可能持续30秒，也可能持续30分钟；客户端持续发送音频并接收转写结果，用量随会话不断增加，结束前无法确定总数。因此，一个在开始或结束时发送的响应头无法承担会话中的周期性上报。

会话开始后，SageMaker AI 与模型服务器建立两条 WebSocket：原有数据连接传输推理请求和结果，新增的元数据连接专门传输计量记录。模型服务器先在数据连接升级响应中声明支持元数据流；两条连接携带相同的请求编号，服务器据此把计量记录对应到具体会话。

计量数据以 JSON 文本帧发送，每帧只能有一条记录。ConsumedUnits 表示自上一条记录以来新增的单位数，ClientToken 可用于避免同一连接上的重复记录。若产品按音频秒数收费，12分钟的计量音频可报告为720单位，但 inference.count 这个维度名称并不表示每个请求固定算一个单位。

每条计量消息最大512字节，每个连接每秒最多发送一条，而且只能使用文本帧。AWS建议随着用量产生而增量上报，并在会话结束时尽快补发最终记录，以减少会话意外中断时尚未报告的用量。

元数据连接默认不是推理继续运行的必要条件：连接失败或中途断开时，推理可继续，但计量会停止。提供商也可设置为元数据连接不可用就终止推理，这是在服务可用性和计量连续性之间取舍。无论采用哪种设置，格式错误的记录仍可能被丢弃，网络传输成功也不代表已经实际计费。

模型提供商需要自行定义一个单位代表什么，并让 Marketplace 报价与该单位匹配。文中提供的入门模板需要在提交前审查并做生产加固，不能直接视为完整的生产实现。

正式发布前，应使用受限上架和获准的测试买家进行已知数量测试，同时核对模型服务器记录、卖方用量报告和买方账单，并覆盖正常结束、会话中断、元数据流丢失及错误消息等情况。测试完成后还应删除端点，避免基础设施继续产生费用。