Categories
第 107 頁
AI 工具解析
Opik：LLM 產品上線後真正缺的不是更多 demo，而是 trace、eval 和監控回到同一個地方
Guardrails AI：LLM 上線不能只相信模型聽話，輸入輸出驗證要變成產品邊界
AutoGen：多 agent 真正難的不是多叫幾個角色，而是把對話、工具和控制權收成工程系統
TensorRT-LLM：開源模型推理要榨出效能，最後常常會回到 NVIDIA 生態的硬底層
Chroma：RAG 不是把向量存起來就好，真正要補的是 AI search infrastructure
DeepEval：AI 產品不能只靠感覺驗收，LLM 評測正在變成工程團隊的測試層
KServe：模型服務上線真正麻煩的不是包成 API，而是讓推理變成 Kubernetes 上的穩定平台
Ray：AI 規模化真正麻煩的不是多開幾台機器，而是把分散式工作變成可操作系統
Unstructured：文件 AI 最常翻車的地方，不是模型不懂，而是資料進來時就已經亂了
Milvus：向量資料庫不是 RAG 配件，而是會決定搜尋品質與營運成本的基礎設施
1
2
3
4
5
6
7
8
11