该框架把优化目标定为“达标输出吞吐”，由TokenPilot、FleetMind、SLOMax三项技术分别负责实例选点、跨机房容量协同与混合负载治理。上述延迟与吞吐数字均来自是石科技在2026 CCF全国高性能计算学术大会演讲材料中的调优与测算示例。
AI解读：TokenPilot负责在同一模型池内选择实例，同时估算KV缓存复用收益与排队代价；GLM5.3调优数据显示，在所测显卡集群与负载条件下，P95首Token延迟降低32.4%，P50降低71.3%。
FleetMind面向后续新增算力机房的扩展，先看各机房是否有同版本模型就绪端点和容量余量，再比较回源时延、排队、计算、缓存与传输成本，并受权限与数据地域约束。
SLOMax按任务类型与租户服务目标做准入、分池排队和容量分配；收益测算示例中，总输出吞吐增加约1.5%，达标输出吞吐提高约29.4%，达标比例从约67%升至约86%。
TokenFleet以Goodput（成功完成且满足服务要求请求的输出Token总量除以测试时长）作为衡量指标，不同任务类别需分别定义达标门槛。
是石科技称其算力集群SLA达99.95%以上，已纳管超20000P+算力、运营10多个超智算中心，此前发布的Meta-Infer侧重单实例推理效率。
是石科技（METASTONE）在2026 CCF全国高性能计算学术大会期间发布TokenFleet分布式调度框架，优化范围包括请求路由、跨机房容量协同和混合负载治理，目标是在模型质量、服务要求与算力预算一致的前提下提高有效Token产出。
公司给出的两项核心数据为：GLM5.3调优中，采用预测延迟路由后P95首Token延迟降低32.4%、P50降低71.3%；流控协同调度的收益测算示例中，达标输出吞吐提高约29.4%。两项数据均来自是石科技大会演讲材料，属于所测条件与测算示例下的结果。
三项技术分别管什么
TokenFleet由TokenPilot、FleetMind、SLOMax三项技术组成。TokenPilot在同一模型池内选择推理实例；FleetMind负责跨机房容量协同；SLOMax负责混合负载的准入、队列治理与容量分配。三者共同服务于“成功完成且满足服务要求的有效Token产出”这一指标。
- TokenPilot：结合输入规模、输出预算和可复用前缀估计工作量，综合队列、在途Token、KV缓存压力与预测延迟筛选候选实例。
- FleetMind：汇聚各机房模型可用性、实时容量与网络状态，先选执行机房，再由该机房本地决策引擎选具体实例。
- SLOMax：结合输入长度、输出预算、任务类型与租户服务目标识别工作量，按等级准入、分池排队并协调容量。
延迟数字的适用边界
是石科技称，TokenPilot在选点时会比较复用KV缓存省下的计算能否抵消额外等待：缓存命中高的实例也可能排队更久。GLM5.3调优数据显示的P95降低32.4%、P50降低71.3%，对应的是所测显卡集群与负载条件，改善率按（基线值－优化值）÷基线值计算。P50反映中位水平，P95反映尾部请求等待情况；来源同时提示，延迟下降不直接等于成本下降，成本收益还需结合吞吐与资源占用评估。
跨机房调度与混合负载治理
FleetMind针对多机房场景增加了容量判断：有空闲GPU不代表能接单，还要看目标模型是否部署、版本是否匹配、服务端点是否就绪以及网络传输耗时。分流能否发生先要满足权限与数据地域约束，值不值得分流则要比较回源时延、排队、计算、缓存与传输成本。来源说明，TokenPilot与SLOMax面向现有集群，FleetMind面向后续新增算力机房的扩展。
SLOMax处理长短请求相互挤压的问题。是石科技给出的GLM5.3收益测算示例显示，采用流控协同调度后总输出吞吐增加约1.5%，达标输出吞吐提高约29.4%，达标比例从约67%升至约86%。来源注明这是收益测算示例，实际收益需结合具体负载与服务门槛验证；框架不预设运行中任务的抢占能力。
衡量方式与公司背景
TokenFleet以Goodput衡量效果：完整测试时段内成功完成且满足约定服务要求的请求所产生的输出Token总量，除以测试时长，不同任务类别需分别定义达标门槛并报告结果。系统将达标吞吐、失败、取消与重复执行情况反馈给调度策略，用于调整准入和容量比例。
据来源，是石科技为独立第三方全栈算力运营商，不绑定特定大模型厂商，提供硬件、组网、调度、优化与运营的一站式算力交付；算力集群SLA达99.95%以上，已纳管超20000P+算力资源，运营10多个超智算中心，其中2个为国家级超算中心。公司此前发布的Meta-Infer侧重单个推理实例的执行效率，TokenFleet则将重点放在集群调度。