AWS发布在Amazon Bedrock上使用OpenAI模型的提示缓存模式
AWS机器学习博客作者Claudio Mazzoni介绍如何在Amazon Bedrock上为OpenAI模型（文中以GPT-6 Astra为例）配置提示缓存，让智能体在多轮工具调用中复用工具列表、指令和历史记录，减少重复输入计费。文中单次六轮工作负载测试显示约 61%–62% 的输入成本降幅，作者提示应按自身负载测量。
AI解读：文章给出隐式与显式两种缓存方式：隐式由Bedrock自动选择可复用前缀的结束位置，显式由代码用prompt_cache_breakpoint标记边界，作者建议两者结合使用。
可缓存前缀需达到 1,024 个token；缓存只在输入文本完全一致时生效，因此工具与指令的序列化顺序需保持稳定，日期、用户名的变化内容应放在缓存边界之后。
作者在六轮工作负载测试中称，GPT-6 Astra的隐式缓存使输入成本比无缓存降低约 62%，显式滚动断点方式降低约 61%；作者强调这是特定工作负载结果，需自行测量。
文章提到additional_tools输入项可让GPT-6 Astra、GPT-6.1 Sol、GPT-5.6 Luna在会话中途追加新工具，同时保留此前的缓存前缀；并提醒提示缓存实现需纳入负责任AI治理，因为工具和系统提示可能被泄露或利用。
AWS机器学习博客发布一篇技术文章，作者Claudio Mazzoni介绍在Amazon Bedrock上使用OpenAI模型运行AI智能体时如何配置提示缓存，让模型在多轮调用中复用同一段输入前缀，避免每轮重新处理工具定义、指令和历史记录。
缓存什么、怎么标记边界
文章把智能体每轮发送给模型的内容分为四部分：工具列表、开发者指令、会话历史、以及本轮新增的工具结果或用户消息。提示缓存保存模型预填充阶段生成的键值状态，后续请求若以相同token开头，就加载已保存状态，只处理新增内容。
缓存方式分两种。隐式模式下，Amazon Bedrock自动选择可复用前缀的结束位置；显式模式下，代码用prompt_cache_breakpoint标记结束点。作者建议在智能体场景中结合使用：显式标记共享的工具和指令，隐式模式跟随不断增长的对话。可复用前缀需达到 1,024 个token才符合缓存条件。
- 隐式：Bedrock自动决定缓存边界，适合持续同一任务的对话
- 显式：代码用prompt_cache_breakpoint指定边界，适合跨会话复用工具与指令
- 组合：先显式标记共享前缀，再让隐式模式缓存增长中的历史
测试数字与适用边界
文章给出两个测试结果：在显式缓存测试中，约 4,000 token的工具与指令前缀在首次请求写入 4,120 token，后续请求读取同样的 4,120 token，而位于缓存边界之后的任务不会触发写入。作者称在一个六轮工作负载中，GPT-6 Astra的隐式缓存比无缓存降低约 62% 的输入成本，显式滚动断点方式降低约 61%。
作者说明这些是特定工作负载的结果，并建议读者测量自己智能体的节省幅度。文章也列出失效情形：在仅用显式模式下只保留一个静态断点，工具和指令会被缓存，但增长中的历史每轮仍要重新处理；移动而非保留上一轮的断点，可能导致缓存无法复用并重复写入。
- 可缓存前缀最低 1,024 token
- 缓存仅在输入文本完全一致时命中，工具列表顺序和序列化方式需保持稳定
- 日期、用户名、请求ID等变化内容应放在缓存边界之后
- GPT-6 Astra六轮测试：隐式约降 62%，显式滚动断点约降 61%，均为作者提供的负载结果
新工具与子智能体如何复用前缀
当智能体在会话中途需要新工具时，文章建议保持初始工具列表不变，把新工具通过additional_tools输入项追加到已完成的历史之后。文章称Amazon Bedrock Runtime和Amazon Bedrock Mantle端点均接受该输入项，适用于GPT-6 Astra、GPT-6.1 Sol、GPT-5.6 Luna，具体区域可用性需查Bedrock支持模型列表。
对于派生辅助智能体，文章建议先发一次普通请求预热共享前缀并检查缓存写入或读取计数，再用同一模型、同一工具列表和同一prompt_cache_key并发启动辅助任务。对摘要或评审类旁路调用，则复制父智能体完成后的完整历史，再追加新指令。文章还提醒，在智能体中使用缓存时，工具和系统提示可能被泄露或利用，应把缓存实现纳入负责任AI治理。
- 新工具以additional_tools追加，初始TOOLS保持不变
- 预热请求可设较小的输出上限，作者称即使触达输出上限也能填充缓存
- 辅助智能体沿用与预热相同的TOOLS、模型和缓存键