Tags

第 3 頁

效能

Token/sec 是什麼？它不是模型跑分，而是 LLM 服務真正吐字的速度

RPS 是什麼？不要只把它當每秒請求數，而是系統壓力的第一條線

不是每次都重算：LMCache 怎麼把 LLM 推理裡最貴的 prefill 省下來