Gartner 近期預測，2026 年 AI-optimized IaaS 裡，推理支出會達到 233 億美元，首次超過訓練支出的 190 億美元。這不只是雲端市場新聞，而是 AI 產品從「模型競賽」進入「帳單時代」的訊號。

以前大家關心訓練，是因為訓練代表 frontier model 的門票。但多數公司其實不會訓練 frontier model，它們會把模型接進客服、內容、開發、銷售、資料分析和內部流程。這些場景真正燒錢的地方，不是一次性訓練，而是每天、每個使用者、每個任務都會發生的推理。

這件事代表什麼？代表 demo 好看不夠，產品要能解釋每一次模型呼叫為什麼值得。尤其是 agent。一般 chatbot 至少還是一問一答，成本相對容易估；agent 會拆任務、查工具、讀檔案、重試、反思，有時候為了一個小目標，背後跑了十幾次模型呼叫。使用者看到的是「幫我處理一下」，帳單看到的是一串 workflow。

該在意的人有三種。AI SaaS 創辦人要在意，因為定價不能只照傳統座席費算。Infra 團隊要在意，因為推理不再只是 GPU 吃滿，而是路由、快取、併發、延遲和成本觀測。企業導入者也要在意，因為買 agent 平台前，應該先問它怎麼限制任務範圍、怎麼回收失敗流程，而不是只看它支援多少工具。

最常見的錯誤理解，是以為「等模型降價就好了」。單 token 變便宜當然會發生，但 agent 的用量和複雜度也會一起上升。就像雲端 VM 降價沒有讓帳單消失，只是讓更多團隊更敢開機器。另一個錯誤理解，是把成本當成 CFO 或 infra 的事。其實免費版能不能跑長上下文、低價方案能不能開多步 agent、什麼任務需要人工確認，這些都是產品規格。

我的建議是：準備把 agent 放進正式產品前，先做一張「任務成本地圖」。列出主要 workflow，每一步用什麼模型、平均跑幾次、失敗時會不會重試、是否能快取、是否能降級、是否有商業價值。這張表比漂亮 demo 更接近真相。

小團隊尤其不要急著做萬能 agent。先選一個高價值、低分岔、可回滾的流程，設好 token 預算、模型路由和失敗出口。等你能回答「這個 agent 每完成一次任務，收入或節省成本是多少」再擴大。

推理支出超過訓練，不是模型時代結束，而是 AI 產品終於要面對營運現實。接下來能活下來的，不一定是把 agent 做得最像人類的團隊，而是最早把聰明、成本和商業價值綁在一起設計的團隊。