Categories

第 275 頁

AI

Guardrails AI：LLM 上線不能只相信模型聽話，輸入輸出驗證要變成產品邊界

AutoGen：多 agent 真正難的不是多叫幾個角色，而是把對話、工具和控制權收成工程系統

TensorRT-LLM：開源模型推理要榨出效能，最後常常會回到 NVIDIA 生態的硬底層

Chroma：RAG 不是把向量存起來就好，真正要補的是 AI search infrastructure

DeepEval：AI 產品不能只靠感覺驗收，LLM 評測正在變成工程團隊的測試層

KServe：模型服務上線真正麻煩的不是包成 API，而是讓推理變成 Kubernetes 上的穩定平台

Ray：AI 規模化真正麻煩的不是多開幾台機器，而是把分散式工作變成可操作系統

Unstructured：文件 AI 最常翻車的地方，不是模型不懂，而是資料進來時就已經亂了

Milvus：向量資料庫不是 RAG 配件，而是會決定搜尋品質與營運成本的基礎設施

Phoenix：LLM 產品真正需要的不是更多感覺，而是看得見的 trace、eval 和錯誤樣本