Llm

📅 活動時間：2026-10-15 🔗 活動連結 📘 聯繫我 Facebook 📑 投影片 Title AI O11y：數據決策到技術選型 Outline LLM application 與 AI agent 的問題，通常不只是在服務是否存活。當模型輸出品質下降、latency 變高或成本突然增加時，團隊需要知道每一次 request 經過了哪些步驟、使用了什麼模型與 prompt，以及最後產生了什麼結果。傳統的 logging 與 metrics 往往不足以回答這些問題。 本次分享將介紹 LLM observability 的基本概念，並以 Langfuse 為例，示範如何建立 tracing、觀察 model call 與 agent workflow，從 traces 中分析品質、延遲與成本，逐步建立可供開發與維運使用的 feedback loop。 為什麼 LLM application 需要新的 observability Trace、span、generation 與 metadata 使用 Langfuse 收集與查看 LLM traces 從 tracing 分析 latency、token usage 與成本 觀察 prompt、model output 與 agent workflow Observability 的限制：如何走向 evaluation 與 decision system Demo & POC 將 LLM application 串接 Langfuse 查看單次 request 的完整 trace 比較不同模型與 prompt 的 latency、成本與輸出 從 observations 建立 dataset 與 evaluation 的起點 Target group 正在導入或維運 LLM / Agent 系統的工程團隊 關心品質、延遲、成本與上線風險的 Tech Lead / SRE / Platform Team 已有 logging 與 metrics，但缺乏 LLM tracing 的開發團隊 想使用 Langfuse 建立 AI application observability 的工程師 主要收穫 你將能理解 LLM tracing 與傳統服務 observability 的差異，使用 Langfuse 追蹤模型呼叫與 agent workflow，並從 traces 取得品質、延遲與成本分析所需的資料，為後續 evaluation 與 regression 建立基礎。 ...

📅 活動時間：2026-10-15 🔗 活動連結 📘 聯繫我 Facebook 📑 投影片 Title AI Gateway：AI 治理的第一步 Outline 當團隊開始使用多個 LLM provider 與模型，API Key、模型路由、成本控管、權限與 tracing 很快就會分散在各個應用程式中。AI Gateway 提供一個統一入口，讓團隊能集中管理模型存取與應用流量，也讓後續的觀測、評估與治理更容易落地。 本次分享將從實務問題出發，介紹 AI Gateway 的核心能力與導入方式，並討論它能解決什麼、不能解決什麼，以及如何與 observability、evaluation 和 AI application workflow 整合。 為什麼團隊需要 AI Gateway 統一模型存取、路由與 fallback API Key、權限與成本治理 串接 tracing、logging 與 LLM observability 以實務情境設計 AI Gateway workflow 導入限制、風險與後續演進 Target group 正在導入 LLM 或 AI application 的後端與平台工程師 負責 API、雲端基礎設施與開發維運的 DevOps / SRE 想建立模型治理、成本控管與 observability 的技術主管與架構師 主要收穫 你將能理解 AI Gateway 在 LLM application architecture 中的角色，掌握模型路由、權限、成本與 tracing 的基本設計，並具備評估團隊是否適合導入 AI Gateway 的實務判斷依據。 ...