AI Gateway：AI 治理的第一步

Che-Chia Chang

同事問
  • 我要最新最強的 Model
    OpenAI Anthropic Gemini Cohere Jev …
  • API Key 如何管理？可以 SSO 嗎？
  • 我還有多少額度？用完就下班了？
  • xx Model 是不是壞了、變超慢
主管問
  • 哪個專案花了多少？
  • 預算如何訂？是否會超支
  • 安全嗎？會不會被攻擊
  • 有存取紀錄與稽核軌跡嗎？
  • 導入 LLM 後，長官要的績效呈現
現實情境
  • 「一個人就把公司預算燒完」💸💸💸
  • 每個人手上都有 API Key💀
  • API 出問題，才問「是不是模型壞了」
  • 成本只到 Provider 帳單總額
  • 預算與績效用市場喊價
AI Gateway：
團隊治理 LLM 的共同入口
  • 開發團隊需要好用的入口
    簡單，安全，穩定
  • 管理團隊需要查看使用情況
    成本、風險評估
    績效、持續改進方向
  • 多團隊、多 Provider 時
    可用 AI Gateway 建立共同管理層
今天的大綱
  • ✅為何需要共同管理層
  • 什麼是 AI Gateway
  • 治理的第一步是成本
  • 強化安全
  • 監測穩定度
  • 持續最佳化
關於我
什麼是 AI Gateway

在 Application 與 LLM Provider 之間
加入一個共同管理層入口

Agentgateway 架構範例 · agentgateway.dev


Apps / Agents
    │ request
    ▼
AI Gateway: AuthN/AuthZ → Policy → Budget / Rate Limit
             → Model Selection → Route / Load Balance / Failover
             ├─ Request Filter
             └─ Metrics / Logs / Traces / Audit
    │ routed request
    ▼
LLM Providers
    │ model response
    ▼
AI Gateway: Response Filter
    │ response
    ▼
Apps / Agents
AI Gateways
  • LiteLLM 61.2k⭐ 非常棒，功能完整
    直到被供應鏈攻擊💀
  • Bifrost 8.8k⭐ Enterprise 方案
  • Agentgateway 5.3k⭐ 最完整的開源方案
    免費，K8s Native，HA
    支持其他開源整合
    架構較複雜😅
  • ✅為什麼是 AI Gateway
  • 治理的第一步是成本💰
  • 強化安全
  • 監測穩定度
  • 持續最佳化
成本控管
  • 營利公司必須考慮盈利
  • 導入新工具，也要約定預算與責任
  • 開發團隊：預估用量、設定上限
  • 管理團隊：核定預算、處理超支
  • 告警不是上限，還需要執行預算政策

誰能用？該花多少錢？避免超支

成本：預算來自觀測（Observability）
  • 鑑往知來，基於過去設定預算，不市場喊價
  • 基於數據，決定預算、成本、績效
  • Agentgateway Observability
  • Metrics：Model, In/Out Tokens
  • 用量 × 對應價格 → 成本估算
  • Cache、折扣計費
  • Traces: span, latency, route
  • Access Logs：存取紀錄、稽核軌跡、
    稽常告警
成本：觀測是必備（Observability）

沒有 o11y 就沒有成本控管，告警，與資安

成本 Showback & Chargeback
  • 用量對應價格，依團隊與服務彙總
  • 由可信 Claims (Google OAuth2) 驗證身份
  • 取得 Org, Unit, Team, Project, Env
  • 存取 Gateway 時紀錄用量
  • OIDC Auth / JWT Auth 是身份入口
  • 各部門團隊取得成本，進行成本分攤

對齊團隊對成本的概念

節省成本：Semantic Routing
  • 依任務動態選 Model
    • Routine → 小型、低成本 Model
    • 複雜推理 → 能力較強的 Model
  • 對比全部使用高成本 Model
    • 同一組 Dataset，比成本與 Latency
    • 跑 Evaluation，確認品質沒掉
  • 路由選對，不代表回答就對
  • 案例與實驗方法
安全性：Provider Auth
  • Provider API Key 集中管理
    • Vault / Secret Manager 儲存與派發
    • KMS 提供加密能力
  • Client 不持有 Provider API Key
  • 由 Provider 與 Secret 管理流程 Rotate
    • Gateway 更新憑證，配合撤銷舊 Key

在 AI Gateway 做 Security Hardening

安全性：Client AuthN / AuthZ
  • OIDC Auth：登入與身份整合
  • JWT Auth：驗證 JWT 格式的 Token
  • 驗證簽章、Issuer、Audience 與有效期
  • 再依身份與 Claims 執行存取政策
穩定度：觀測（Observability）
  • 如果 LLM 是對客戶（B2C）
    不能等到客戶抱怨才知道
  • Provider Status Page 可能延遲
  • 根據 LLM provider 會有地區性問題
  • 一定要主動監測並測量 metrics
    • Latency p50, p90, p99
    • Error Rate
穩定度：主動監測與自動告警
  • Prometheus-compatible Metrics
  • Prometheus Stack: Prometheus + Alertmanager + Grafana
  • 過去一季 xx Model / Provider 可用性高或偏低
  • 透過 Dashboard 數據，整合團隊共識
  • 基於數據不靠體感「我覺得 xx Model 很好用」
  • 團隊可以選擇更適合的 Model
穩定度：Retry / Failover
  • Load Balancing：分流到可用 Backend
  • Failover：依失敗條件切換備援
  • 可換 Provider，也可換 Model
  • Retry：限制次數 Timeout 與 Backoff
  • 429 依 Retry-After 與策略處理
  • 使用者不會感受到 429 與 5xx
    • 已輸出串流、執行 Tool 的請求需另處理
最佳化 Metrics
  • 觀測取得 Metrics、Traces 與 Audit Log
  • Metrics：哪個 Model / Provider
    最快、穩定、便宜
    哪個 Model 一直噴 Error
  • Metrics 看速度與成本
  • 回答品質要用 Dataset 與 Evaluation
最佳化 Traces
  • Traces 送到分析平台 ex langfuse
    • 整理 Dataset
    • 跑 Experiment / Evaluation 針對產出內容做測試
    • 哪個 Model 產出品質好
  • 不會有一個超級 Model適合所有任務
    • 需求成長比 Model 快
LLM O11y 與最佳化

AI Observability 投影片

從 Trace、Dataset 到 Evaluation
觀測到問題，再用實驗確認改動

要不要用 AI Gateway？
面向使用 AI Gateway不使用 Gateway
基礎設施需部署或託管、監控、升級與 HA少一層服務，不需 Gateway 算力
身份與治理集中 Auth、Policy、Budget、Audit靠 Provider 原生功能，或各 App 自行實作
路由與穩定統一 Route、Retry、Failover（依產品能力）用各家機制；跨 Provider 切換由 App 處理
客製化與相依受 Gateway 支援的 API / Policy 限制可用 Provider 完整功能；整合與移轉要改 App
使用體驗單一 API / Portal、權限與用量一致各 Provider 帳號、Console、Key 與流程分散
整體成本多一份維運成本，換取用量可視與政策控管少 Gateway 成本；整合、人工作業與超支風險仍在

多團隊、多 Provider 值得多維運一層

Takeaways
  • 多團隊、Providers 時務必 AI Gateway
  • O11y is a MUST
  • ChargeBack 讓團隊對成本有共識
  • Metrics 讓長官對績效有共識
  • 不妥協的安全性
  • AI Gateway 提供共同管理入口
Q&A