人類按下核准，不等於 AI agent 真的安全

企業開始導入 AI agent 之後，很多產品都會放一個看起來很安心的設計：重要動作前，請人類按下核准。

這當然比全自動亂跑好。但最近越來越多討論都指向同一個反直覺事實：人類核准不是安全邊界，它頂多是最後一道互動介面。如果前面的任務拆解、資料來源、權限範圍和操作紀錄沒有設計好，approve 按鈕只是把風險包裝成「有人看過」。

問題在於，人類常常不知道自己到底核准了什麼。

一個瀏覽器 agent 可能先讀了公開網頁，又讀了內部文件，再打開 CRM、信箱或雲端硬碟，最後提出「我要送出這封信」或「我要更新這筆資料」的要求。畫面上看起來只是一個動作，但背後其實是一串推理、查詢、篩選和工具呼叫。若審核者只看到最後一句摘要，他核准的是結果，卻沒有真的核准過程。

這也是 prompt injection 讓企業頭痛的原因。OpenAI、Google 等安全團隊都持續提醒：agent 會處理來自網頁、文件、郵件等第三方內容，而惡意指令可能藏在這些內容裡。真正務實的目標不是幻想模型永遠分得清資料和指令，而是就算被帶偏，傷害也被限制在很小的範圍。

所以企業評估 AI agent 時，不該只問「有沒有 human in the loop」。更精準的問題應該是：人類在 loop 的哪裡？看得到哪些證據？能不能拒絕部分動作？拒絕後 agent 會不會換條路偷偷完成？每次操作能不能回放？出了事能不能知道是哪個任務、哪個工具、哪個資料來源導致的？

比較成熟的做法，是把核准按鈕前移成一套產品規格。

第一，任務要分級。整理公開資料、草擬回覆、查詢內部資料、修改客戶狀態、付款或刪除資料，不應該共用同一種核准。

第二，權限要縮小。agent 最好有自己的身分、自己的可用工具、自己的時間限制，而不是直接借用員工完整帳號到處跑。

第三，核准要附證據。不要只顯示「是否送出」，而要顯示它用了哪些資料、打算改什麼欄位、替代方案是什麼、失敗時怎麼回滾。

第四，紀錄要能追責。日誌不是資安部門的裝飾，而是產品能不能進企業採購的基本門票。

結論很簡單：AI agent 越能做事，人類核准就越不能只是橡皮圖章。真正的安全不是「最後問一下人」，而是讓人有足夠上下文做判斷，讓 agent 沒有多餘權限做壞事，讓系統在出錯後查得出來、停得下來、補得回來。

如果你現在正在導入 agent，先別急著追求全自動。先挑一條窄流程，把權限、證據、拒絕、回放和日誌補齊。能讓人放心按下核准的 agent，才有資格慢慢拿到更多自主權。

參考