AWS发布教程：用LiteLLM在Fargate上搭建Bedrock自助式LLM网关
AWS机器学习博客给出了一套参考架构：开发者用OpenAI兼容接口和各自的API key调用Bedrock模型，平台侧按密钥控制预算。其中自助签发密钥依赖LiteLLM企业版，免费版最多支持 5 名用户。
AI解读：AWS博客发布的是一套搭建方法，不是现成托管产品。核心做法是在AWS Fargate上运行LiteLLM代理，把Amazon Bedrock模型封装成OpenAI兼容API。
开发者只需在Claude Code、Cursor等工具里配置一个base URL、一个API key和模型名，不必直接接触Bedrock。
成本控制按每个API key设置预算，示例为 250 美元、滚动 7 天。作者提醒，模型配置用原始inference profile ARN时，必须手动填写每token成本，否则费用记为零、预算永不生效。
配额隔离通过Bedrock Application Inference Profiles实现，每个模型对应一个profile；IAM权限需覆盖应用profile及可能路由到的区域的基础模型ARN。
自助签发key需要LiteLLM Enterprise；开源网关最多支持 5 名用户。作者称早期试点中曾出现extended thinking导致费用意外偏高的情况。
AWS机器学习博客发布了一篇搭建教程，介绍如何用Amazon Bedrock Application Inference Profiles加LiteLLM，在AWS Fargate上搭一个自助式LLM网关，让开发者通过OpenAI兼容API访问Bedrock基础模型。文章作者Sitaraman Vijay Krishna给出了配置片段和CDK构造，示例使用Claude Sonnet和Claude Haiku。
请求链路与组件
按文章描述，开发者的OpenAI兼容客户端经Route 53、CloudFront和Application Load Balancer到达Fargate上的LiteLLM，用每用户API key认证。LiteLLM用RDS PostgreSQL存虚拟密钥和消费状态，用ElastiCache for Valkey做缓存和跨任务限流，凭据放在Secrets Manager，最后以受限IAM任务角色调用Bedrock inference profile。
- LiteLLM门户可接企业SSO，运维设定消费策略，开发者在策略内自助签发key。
- CloudWatch采集每分钟请求数和每分钟token数；Langfuse负责提示词级追踪。
- 文章未涵盖Bedrock Guardrails，作者称上线前通常会加入内容过滤等控制。
预算如何生效
示例配置给每个密钥设max_budget 250、budget_duration 7d，按滚动 7 天窗口执行。用户超限时LiteLLM返回HTTP 429并说明预算已超，作者称不会静默降级或产生意外账单。
文章特别提示：当model填的是原始inference profile ARN时，LiteLLM内置成本表无法识别，会把成本默认为 0，导致按密钥的spend始终为 0、预算永远不触发。因此需要在model_info里显式写明input_cost_per_token和output_cost_per_token。
- 消费数据可通过 /user/daily/activity、/user/info接口查询，或看门户Usage标签页。
- 每次 /chat/completions响应带x-litellm-key-remaining-requests和remaining-tokens头，显示剩余RPM和TPM额度。
配额与版本限制
配额隔离依赖每个模型单独的Application Inference Profile。用Global跨区域推理时，CDK里copyFrom必须指向带global.前缀的系统定义inference profile，若直接填基础模型ARN会生成单区域profile、不跨区域路由。IAM策略需包含应用profile ARN和按区域通配的基础模型ARN，否则调用时报not authorized。
- 文章建议模型支持且组织政策允许时用Global跨区域推理；Geographic跨区域推理则将处理限制在特定地理范围。
- LiteLLM开源网关适合小规模试点，官方文档称免费最多 5 名用户，超出需许可；文中描述的自助签发密钥需要Enterprise版。