实操指南 / 简体中文

AI 输出速度怎么看:tokens/s、首字延迟与公平对比

用 200 Token 的算术示例理解速度,在同一段文字上比较播放节奏,并区分模拟和真实 API 测速。

Fu Jam · 更新 2026-10-19

先分清两个等待

首字延迟(TTFT)是发出请求到收到第一个输出 Token 的时间;tokens/s 是随后输出的速率。较高的输出速度并不保证更早开始回答。网络、排队、输入长度和推理过程都会影响实际体验。

一个可以复算的示例

假设需要输出恰好 200 个 Token,且速率稳定:20 tokens/s 约需 10 秒,50 tokens/s 约需 4 秒,100 tokens/s 约需 2 秒。计算为 200 ÷ tokens/s。这只计算稳定输出阶段,不包含 TTFT,也不是任何模型的实测成绩。

在模拟器里这样比较

打开 Token 速度模拟器,输入相同原文,再启用并排对比,选择不同速度并播放。切换模型系列后先确认原文没有被清空。记录你是否能舒适阅读,而不只关注谁先结束。播放器按约 4 个字符估计 1 个 Token,不能替代各模型的分词器。

什么时候需要真实 API 测试?

采购或部署决策需要在自己的真实任务上测试。固定模型版本、请求参数、输入与输出上限,重复多次,并分别记录 TTFT、输出时长、真实 Token 用量及失败情况。使用提供方返回的用量信息;不要把播放器估算当账单依据。

内容和链接的隐私边界

模拟器播放直接输入的文字时不调用模型。公开链接导入会访问目标页面,失败时可能通过读者代理读取。不要导入含登录令牌的地址。真实 API 测试则会把提示发送给所选服务商,应先确认其数据处理政策。

开始使用

参考资料

所有开发与使用笔记