Airbnb用每任务成本评估编码代理:模型上线次日即可做出部署决定
AWS博客披露,Airbnb每周有数千名工程相关人员通过AirChat运行编码代理,请求经其LLM网关走Amazon Bedrock。Airbnb用自有工程任务评测模型的得分和每任务成本,并结合CloudWatch运行指标核对生产表现。上线后曾出现评测得分更高但人均周支出达前代数倍的情况。
AI解读:Airbnb的做法是把一次完整任务中四类令牌(未缓存输入、缓存读取、缓存写入、输出)按公开标价累加,得到每任务成本,与任务得分并列用于选择默认模型和推理强度上限。这套评测跑在Airbnb自己的工程任务上,而非模型发布方公布的基准图表。
评测得分不能完全预测生产支出。文中称模型A在评测中比此前最佳模型高3分以上、每任务成本相近,但上线数周后按标价统计,人均周支出为此前模型的数倍:单次请求约贵3倍,人均请求数也约多3倍,成本主要来自每次请求都重读的缓存上下文。
推理强度会同时改变得分和成本。文中举一例:某模型从低强度升到高强度,得分提高0.8分,而每任务成本为2.5倍。Airbnb据此设定各模型允许的最高推理强度,并由网关强制执行。
配额节流按预留令牌计算。文中示例中配额为每分钟100万令牌、流量为每分钟300次请求,账单口径显示约用三成配额,按5:1输出令牌消耗率折算后已完成请求消耗约77%。把max_tokens从4096降到1024,单次初始预留从4696令牌降到1624令牌,约为原来的35%,p99响应长度仍在限制之内。
成本归因需要额外配置。Bedrock运行指标按ModelId维度提供,看不到发起请求的团队;Airbnb用自己的网关记录模型、客户端、团队和用户,仅做汇总用于成本和容量规划。
这些数据来自Airbnb与AWS的单篇合作博文,未披露评测任务数量、完整成本基线和对照组,因此只能支持其自身流程的描述,不能推断其他团队的节省比例或模型优劣。
AWS机器学习博客发文介绍Airbnb如何在Amazon Bedrock上运行编码代理,并用“每任务成本”指导模型选择。文章作者为Alan Yao。Airbnb每周有数千名工程师及工程相关人员使用内部工具AirChat运行编码代理,请求经其LLM网关发往Amazon Bedrock。
文中提到,约五周内有8个新模型发布,到10月中旬约三分之二的编码代理请求流向这些新模型。Airbnb的做法是:上线前用自有工程任务评测每个模型的得分和每任务成本,上线后结合CloudWatch运行指标查看生产实际表现。
评测怎么算:按整条任务定价,不按单次请求
Airbnb把每任务成本定义为完成一项任务所用全部令牌的标价成本。Bedrock对每次请求报告四类令牌:未缓存输入、缓存读取、缓存写入和输出,评测时逐次请求计价再累加。文中所有成本均使用对应运行日期的公开标价。
评测结果按模型、推理强度和代理客户端分别记录平均成本,并与得分并列;平均成本包含得分较低的尝试。Airbnb据此设定每个工具的默认模型和推理强度上限,由网关执行。
- 某模型从低推理强度升到高强度:得分提高0.8分,每任务成本为2.5倍
- 新模型发布当天下午触发评测,数小时内出首批结果,次日早上所有任务套件均有得分和每任务成本
- 任务套件共7类,任务取自真实代码改动、评审意见和原始工单未写明的决定
上线后的偏差:评测衡量任务,生产衡量人怎么用
文中称模型A在编码任务上比此前最佳模型高3分以上,每任务成本相近,且各模型由同一评分器打分。Airbnb将其上线,推理强度上限设为高,并建议多数工作使用低或中强度。
上线数周后按标价汇总生产用量,模型A的人均周支出为此前模型的数倍。每次模型A请求约贵3倍,模型A用户平均发送的请求数也约多3倍。输出令牌仅占单次请求成本约十分之一,大部分成本来自每次请求都要重读的缓存上下文。
文章解释这一差异时说,模型A能长时间自主工作,用户开始用它进行长时间、自主推进的会话;评测衡量的是模型在一项任务上的表现,生产衡量的是人选择怎样与它协作。
后续一个新模型在同一批任务和同一评分器上得分高于模型A,每任务成本约为其六分之一。Airbnb通过配置变更把模型A的用户迁过去;在该批重度用户迁移后的第一个完整周,主模型请求数大致不变,该群体在主模型上的支出降至约七分之一。
节流与配额:预留按最坏情况算
在bedrock-runtime端点上,Bedrock在请求到达时、模型生成之前就检查每分钟令牌配额,预留未缓存输入令牌、缓存写入令牌以及max_tokens。生成过程中预留额度会调整,请求结束时退还未用部分。缓存读取不计入配额。
输出令牌按消耗率结算,多数模型为1:1,部分当前模型为数倍,文章建议核对所用模型的比率。文章举例:配额为每分钟100万令牌、流量为每分钟300次请求时,仪表盘显示约用三成配额;按5:1输出令牌消耗率折算,已完成请求消耗约77%。
准入使用另一套计算。示例中每次请求初始预留600个未缓存输入令牌加4096个max_tokens,合计4696令牌;p99响应约800令牌。将max_tokens降到1024后,初始预留降至1624令牌,约缩小65%,仍高于p99。文章称,输入输出不变时最终配额消耗不变,更小的预留只是留出更多准入空间。
- 建议监控stopReason以发现被截断的响应
- 使用带抖动的退避并限制重试次数
- 对每个主要模型保留至少一个在自有评测上表现相当的替代模型,以便在容量紧张时改配置切换默认模型
成本归因:指标看模型,看不到团队
Bedrock运行指标按ModelId维度提供,能看出哪个模型服务了请求,但看不出哪个团队发出请求。文章指出,未解析出模型的失败请求只出现在不带ModelId的指标序列中,因此按ModelId过滤会少算错误。
Bedrock提供三种归因方式:按IAM身份标记角色或会话标签,在Cost Explorer和CUR 2.0中按标签查看成本;为每个应用和模型创建带标签的应用程序推理配置文件;在Converse的requestMetadata中传键值对,写入模型调用日志但不进账单。
网关场景下,Bedrock看到的是网关的角色,文章建议网关为每个用户代入带独立RoleSessionName或会话标签的角色,并缓存凭据,避免每次请求都调用AWS STS。文章还建议对调用日志投递失败设置告警。