Aiops

📅 活動時間：2026-07-02 15:30-16:00 🔗 活動連結 📘 聯繫我 Facebook 📑 投影片 Title LLM O11y：從 Observability 到 Decision System Outline 在導入 LLM 與 Agent 開發流程時，團隊常面臨規格難以驗證、品質無法量化、以及回歸測試成本高等痛點。本分享將介紹如何在 AI Agent Coding 流程中結合 Langfuse 與 LLM-as-a-judge，將自然語言規格轉化為可執行的 evaluation，建立自動化的驗證與 feedback loop。你將學到如何使用 llm ai gateway、langfuse tracing、實作 evaluation & judge 流程、抽取 dataset，打造第一個可觀測、可量化的 AI 開發工作流，讓 Agent 系統開發更穩定、更可預測。 用 impression 做 model/framework 選擇決策。使用新 model framework 可能增加 latency 與降低可用度 從 observability 開始: bifrost + langfuse observability 還不夠：Observability != Decision System LLM-as-a-judge 的價值與限制 從 observability 到 closed-loop feedback system evaluation / dataset / regression / decision gate llm-o11y PoC：decision layer 最小可行實作 把 LLM framework 選擇，從 gambling 變成可驗證決策 Demo & POC https://github.com/chechiachang/llm-o11y ...

📅 活動時間：2026-07-02 13:30-15:00 🔗 活動連結 📑 投影片 📘 Workshop Repo chechiachang/llm-o11y Workshop Overview 這是一場 hands-on workshop，目標是把 LLM 應用從「可觀測」推進到「可評估、可決策」。 你會在自己的電腦上直接跑完整流程，從 tracing 到 evaluation，再到 workflow 落地。 Agenda Docker Compose 在 localhost 啟動 Bifrost 與 Langfuse 串接 LLM AI Gateway 與 Langfuse tracing 建立 evaluation 與 LLM-as-a-judge 從實務觀測資料抽取 dataset 串成可重現的開發 workflow What You Will Build 本地可執行的 observability stack（Bifrost + Langfuse） 一條可重跑的 evaluation pipeline 可持續擴充的 dataset 與 regression 基礎 能用於模型/框架決策的 workflow Prerequisites 自備筆電（must bring your own PC） 可連外網路（stable network required） 可使用 Docker / Docker Compose 可使用 Git 與 terminal Workshop Resources Azure OpenAI models will be provided by the workshop. Target Audience 正在導入或維運 LLM / Agent 系統的工程團隊 想建立 tracing + evaluation + decision flow 的 Tech Lead / SRE / Platform Team 想把 PoC 推進到可持續工作流的開發者

📅 活動時間：2025-10-23T13:30-14:10 (ABC會議室) 🔗 活動連結 📘 聯繫我 Facebook 📑 投影片 Outline K8sGPT 是一個結合 AI 的 Kubernetes 叢集診斷與自動化排錯工具，能自動掃描叢集狀態、辨識異常並用自然語言解釋問題，提供可執行的修復建議，甚至支援自動修復。K8sGPT 讓使用者用更低門檻掌握叢集健康狀況，加速問題定位與排除，是 DevOps 與 SRE 團隊提升營運效率的實用工具。 在排查問題時，比起人類工程師，K8sGPT 缺乏對 workload 架構的深入了解，也無法存取內部架構設計文件，或是 Runbook 與 SOP。這限制了其診斷能力並可能因為幻覺（hallucination）而提供不正確的建議。K8sGPT 主要依賴 Kubernetes API 與叢集狀態資訊來進行診斷，但這些資訊並不足以涵蓋所有可能的問題情境。 本次演講展現一個使用案例，嘗試透過 RAG（Retrieval-Augmented Generation 檢索增強生成）技術來增強其診斷能力，展現目前基於大語言模型的解決方案，面對 Kubernetes 叢集問題時的優勢與挑戰。 參考資料 https://k8sgpt.ai/ KubeCon Europe 2025/04/02 Superpowers for Humans of Kubernetes: How K8sGPT Is Transforming Enter… Alex Jones & Anais Urlichs Author Che-Chia Chang 是一名專注於後端開發、開發維運、容器化應用及 Kubernetes 開發與管理的技術專家，同時也是 Microsoft 最有價值專業人士（MVP）。 活躍於台灣技術社群，經常在 CNTUG、DevOps Taipei、GDG Taipei、Golang Taipei Meetup 等社群分享 DevOps、SRE、Kubernetes 及雲端運算相關技術。致力於推動開發與維運的最佳實踐，並熱衷於研究與應用最新的雲端與 AI 技術。 ...