很多人第一次看到 token/sec，會直覺把它理解成「模型每秒吐幾個字」。

方向大致對，但要再精準一點。

大型語言模型不是直接輸出完整句子，而是一次產生一小段 token。token 可以是中文字、英文單字的一部分、標點，或某種模型內部切分後的文字片段。Token/sec 就是模型在輸出階段，每秒能產生多少 token。

這個數字很重要，因為使用者感受到的「AI 回答快不快」，通常不是只有 API 有沒有回，而是模型開始回答之後，文字流出來的速度穩不穩。

Token/sec 是什麼

Token/sec 是 Tokens Per Second，也就是每秒產生多少 token。

如果一個模型每秒輸出 80 個 token，它的輸出速度就是 80 token/sec。這個指標常用來衡量 LLM 推理服務的生成速度，尤其是聊天機器人、程式碼助手、文件摘要、客服回覆、AI agent 這類需要即時回應的產品。

但 token/sec 不是單純的硬體炫技數字。

它會直接影響三件事：

• 使用者看到答案流出來的速度
• GPU 在同一段時間內能服務多少人
• 每次回答佔用推理資源多久

所以 token/sec 同時是體驗指標、吞吐指標，也是成本指標。

Token/sec 跟 RPS 不一樣

RPS 看的是每秒進來多少 request。

Token/sec 看的是模型每秒產出多少 token。

這兩個指標常常被放在一起看，但它們不是同一件事。一般 Web API 收到 request 後，通常是查資料、跑邏輯、回傳結果；LLM request 則常常要經過 prompt prefill、排隊、GPU batch、逐 token 解碼，最後才慢慢把答案吐出來。

也就是說，一個 LLM 服務可能 RPS 不高，但每個 request 都很重。

例如：

• 使用者只問一句短問題，模型回 50 token
• 使用者貼一份長文件，模型讀完後回 800 token
• Agent 帶著工具結果、歷史記憶、長上下文再生成 1200 token

這三種 request 對系統的壓力完全不同。只看 RPS 會低估問題，只看 token/sec 也不夠，兩個要一起看。

TTFT 是使用者等待的第一個門檻

談 token/sec 時，還有一個指標一定要一起看：TTFT。

TTFT 是 Time To First Token，也就是從使用者送出請求，到模型吐出第一個 token 的時間。

如果 TTFT 很高，使用者會先卡在「AI 怎麼還沒開始講話」。如果 token/sec 很低，使用者會卡在「它開始講了，但講得很慢」。

這兩種慢法不一樣。

TTFT 常被 prompt 長度、排隊、prefill、batching、模型大小影響；token/sec 則更接近 decode 階段的持續輸出速度。好的 LLM 體驗通常需要兩者都穩：第一個 token 要快出現，後面的 token 也要順順流。

上下文越長，token/sec 越容易被拖慢

LLM 服務有個很不直覺的地方：輸入越長，輸出不一定只是「多等一點」。

長上下文會增加 prefill 成本，也會吃更多 KV cache。當 GPU 記憶體、batch slot、queue 都開始緊繃時，單一使用者看到的 token/sec 可能下降，其他使用者的 TTFT 也可能一起變差。

這就是為什麼 AI 產品不能只說「我們支援 128K context」就結束。

真正要問的是：

• 128K context 下，TTFT 會變多少？
• 長回答時 token/sec 還穩不穩？
• 多使用者同時進來時，GPU queue 會不會塞住？
• cache reuse 能不能降低重複上下文的成本？
• 要不要限制最大輸出長度？

長上下文是產品能力，但也是成本入口。沒有治理，使用者貼越多資料，系統越容易被拖進慢而貴的狀態。

高 token/sec 不一定等於好產品

模型吐得快，當然是好事。

但只追高 token/sec，也可能做錯方向。

有些產品真正需要的是低 TTFT，讓使用者覺得 AI 立刻有反應；有些產品需要穩定長輸出，避免寫到一半突然變慢；有些後台任務不在乎即時體感，反而更在乎整批任務的總成本。

所以 token/sec 要放進場景裡看：

• 聊天產品重視 TTFT + 平穩 streaming
• 程式碼助手重視短延遲與可讀輸出速度
• 文件摘要重視長上下文成本與總完成時間
• Agent 工作流重視工具等待、模型等待與重試成本
• 批次任務重視總吞吐與單位 token 成本

同一個模型，同一個 token/sec，在不同產品裡代表的價值不一樣。

一句話總結

Token/sec 是模型每秒產生多少 token，但它真正的價值不是拿來比誰跑分比較漂亮。

它是在告訴你：模型開始回答後，答案能用多快的速度流出來，以及這個速度背後佔用了多少 GPU 時間、上下文空間和推理成本。

所以不要只問「這個模型有多少 token/sec」。

更好的問法是：在我的使用場景、上下文長度、併發量和成本限制下，token/sec、TTFT 和總完成時間是不是仍然穩定？