百炼：一个大模型请求在云上的旅程
一行 SDK 调用，0.8 秒后返回一段完整的回答——中间隔着四层：接入网关、模型路由、推理集群与计量结算。拆开这条链路，你会明白 Token 计价、上下文限制、缓存命中折扣这些「账单现象」各自对应链路上的哪一段。
链路总览
调用方
你的应用代码SDK / OpenAI 兼容接口
接入网关鉴权与限流（RPM/TPM）模型路由
↓
Prompt 处理KV 缓存命中判断上下文组装
↓
推理集群调度与批处理流式返回 SSE
↓
计量
Token 计数计费与配额扣减
第一层：接入网关——限流与鉴权发生在这里
请求先到接入网关：校验 API Key、按账号执行 RPM（每分钟请求数）与 TPM（每分钟 Token 数）限流。你在文档里看到的「上下文 1M、RPM 30000、TPM 5000000」就是这层的参数。触发限流返回 429，SDK 里的重试策略基本都在对付这一层。
百炼同时提供 OpenAI 兼容接口：把 base_url 换掉就能把存量应用迁过来，这是接入成本最低的一条路径。
第二层：Prompt 处理与 KV 缓存——账单折扣的来源
模型路由之后是上下文组装。关键角色是 KV 缓存：大模型推理时会把输入的中间计算结果（Key/Value）缓存下来，相同前缀的请求直接复用，省掉整段「重读」的计算。
- 缓存命中：计费按命中价（如 Qwen3.7-Flash 命中 0.04 元/百万 Tokens，是输入价的 1/5）；
- 显式缓存：你可以主动声明缓存前缀（如系统提示词、长文档），创建与命中分别计价；
- 工程含义：把稳定不变的 system prompt 和文档放前缀、把变化的问题放尾部，账单会自己降下来。
第三层：推理集群——吞吐模式与批处理
推理集群的两种吞吐口径对应不同场景：
| 模式 | 适合 | 计费特点 |
|---|---|---|
| 在线推理（TPM 口径） | 对话、实时应用 | 输入/输出按量，输出更贵 |
| Batch File 异步 | 离线批量处理 | 5 折，小时级延迟可接受 |
| PTU/DTU 专属吞吐 | 稳定大流量 | 包量订阅，边际成本低 |
计费上「输出比输入贵数倍」（如 Qwen3.8-Max 输入 12 / 输出 36 元/百万 Tokens）的原因在推理计算量：输出的每个 Token 都要完整前向计算一次并采样，输入则可以被批处理与缓存摊薄。
第四层：计量结算——Token 是怎么数的
响应结束时按 tokenizer 分词计数：计费 Token 数 ≠ 字数，中文通常一字约 1-2 Token。账单三件套：输入 Token（区分命中/未命中）、输出 Token、缓存操作 Token。Token Plan 订阅包量内抵扣、超量后付费打折，本质是把这层的计量换成了批发价。
把这些原理用回工程里
- 省钱三招：稳定前缀显式缓存、离线任务走 Batch（5 折）、订阅 Token Plan 包量（超量 88 折）；
- 限流三招：客户端限速、指数退避重试、按 TPM 预算拆分多 Key；
- 选型一招：轻量调用用 Flash 档（0.2 元/百万 Tokens 输入），复杂推理才上 Max 档。
百炼 Token Plan · 39 元/月起
新用户先领免费 Tokens 额度；按量与订阅双轨，跑通再放量
参考来源：阿里云百炼/DashScope 官方文档与公开技术资料。价格与规格如有变动，以官方页面为准。本文中的优惠链接指向官方购买页。