LLM O11y:從 Observability 到 Decision System

📅 活動時間:2026-07-02 15:30-16:00 🔗 活動連結 📘 聯繫我 Facebook 📑 投影片 Title LLM O11y:從 Observability 到 Decision System Outline 在導入 LLM 與 Agent 開發流程時,團隊常面臨規格難以驗證、品質無法量化、以及回歸測試成本高等痛點。本分享將介紹如何在 AI Agent Coding 流程中結合 Langfuse 與 LLM-as-a-judge,將自然語言規格轉化為可執行的 evaluation,建立自動化的驗證與 feedback loop。你將學到如何使用 llm ai gateway、langfuse tracing、實作 evaluation & judge 流程、抽取 dataset,打造第一個可觀測、可量化的 AI 開發工作流,讓 Agent 系統開發更穩定、更可預測。 用 impression 做 model/framework 選擇決策。使用新 model framework 可能增加 latency 與降低可用度 從 observability 開始: bifrost + langfuse observability 還不夠:Observability != Decision System LLM-as-a-judge 的價值與限制 從 observability 到 closed-loop feedback system evaluation / dataset / regression / decision gate llm-o11y PoC:decision layer 最小可行實作 把 LLM framework 選擇,從 gambling 變成可驗證決策 Demo & POC https://github.com/chechiachang/llm-o11y ...

May 2, 2026 · 2 min · 255 words · chechiachang

Workshop: LLM O11y 從 Observability 到 Decision System

📅 活動時間:2026-07-02 13:30-15:00 🔗 活動連結 📑 投影片 📘 Workshop Repo chechiachang/llm-o11y Workshop Overview 這是一場 hands-on workshop,目標是把 LLM 應用從「可觀測」推進到「可評估、可決策」。 你會在自己的電腦上直接跑完整流程,從 tracing 到 evaluation,再到 workflow 落地。 Agenda Docker Compose 在 localhost 啟動 Bifrost 與 Langfuse 串接 LLM AI Gateway 與 Langfuse tracing 建立 evaluation 與 LLM-as-a-judge 從實務觀測資料抽取 dataset 串成可重現的開發 workflow What You Will Build 本地可執行的 observability stack(Bifrost + Langfuse) 一條可重跑的 evaluation pipeline 可持續擴充的 dataset 與 regression 基礎 能用於模型/框架決策的 workflow Prerequisites 自備筆電(must bring your own PC) 可連外網路(stable network required) 可使用 Docker / Docker Compose 可使用 Git 與 terminal Workshop Resources Azure OpenAI models will be provided by the workshop. Target Audience 正在導入或維運 LLM / Agent 系統的工程團隊 想建立 tracing + evaluation + decision flow 的 Tech Lead / SRE / Platform Team 想把 PoC 推進到可持續工作流的開發者

May 2, 2026 · 1 min · 121 words · chechiachang

K8s Summit 2025: RAG + k8sGPT 檢索增強生成與 K8sGPT

📅 活動時間:2025-10-23T13:30-14:10 (ABC會議室) 🔗 活動連結 📘 聯繫我 Facebook 📑 投影片 Outline K8sGPT 是一個結合 AI 的 Kubernetes 叢集診斷與自動化排錯工具,能自動掃描叢集狀態、辨識異常並用自然語言解釋問題,提供可執行的修復建議,甚至支援自動修復。K8sGPT 讓使用者用更低門檻掌握叢集健康狀況,加速問題定位與排除,是 DevOps 與 SRE 團隊提升營運效率的實用工具。 在排查問題時,比起人類工程師,K8sGPT 缺乏對 workload 架構的深入了解,也無法存取內部架構設計文件,或是 Runbook 與 SOP。這限制了其診斷能力並可能因為幻覺(hallucination)而提供不正確的建議。K8sGPT 主要依賴 Kubernetes API 與叢集狀態資訊來進行診斷,但這些資訊並不足以涵蓋所有可能的問題情境。 本次演講展現一個使用案例,嘗試透過 RAG(Retrieval-Augmented Generation 檢索增強生成)技術來增強其診斷能力,展現目前基於大語言模型的解決方案,面對 Kubernetes 叢集問題時的優勢與挑戰。 參考資料 https://k8sgpt.ai/ KubeCon Europe 2025/04/02 Superpowers for Humans of Kubernetes: How K8sGPT Is Transforming Enter… Alex Jones & Anais Urlichs Author Che-Chia Chang 是一名專注於後端開發、開發維運、容器化應用及 Kubernetes 開發與管理的技術專家,同時也是 Microsoft 最有價值專業人士(MVP)。 活躍於台灣技術社群,經常在 CNTUG、DevOps Taipei、GDG Taipei、Golang Taipei Meetup 等社群分享 DevOps、SRE、Kubernetes 及雲端運算相關技術。致力於推動開發與維運的最佳實踐,並熱衷於研究與應用最新的雲端與 AI 技術。 ...

October 1, 2025 · 1 min · 163 words · chechiachang

K8s Summit 2025: Workshop: Get started with Etcd & Kubernetes

📅 活動時間:2025-10-22T10:30-12:00 (603+604) 📅 活動時間:2025-10-23T15:30-17:00 (603+604) 🔗 活動連結 📘 聯繫我 Facebook 📑 投影片 ❗Etcd workshop 行前準備❗ 本次工作坊有行前準備,請在活動日前完成上方投影片中的行前準備。 工作坊場次 2025-10-22T10:30-12:00 (603+604) 2025-10-23T15:30-17:00 (603+604) Workshop Workshop: Get started with Etcd & Kubernetes / 手把手搭建 Etcd 與 K8s Components Outline Etcd 是 Kubernetes 的重要元件之一,本次工作坊將帶領觀眾初探 Etcd,包含安裝,設定,以及操作。並藉由本地的 Etcd 來架設一個最簡單的 Kubernetes Cluster。讓參與者透過本次工作坊,可以有操作 k8s control plane 的經驗,更了解 Etcd 的基本操作,以及了解 Kubernetes 的基本架構。 預計內容: docker 啟動 etcd etcdctl 存取 etcd docker 啟動 etcd cluster docker 啟動 k8s control plane kubectl 存取 k8s control plane 維運 k8s 所需的 etcd operation (規劃中)本次工作坊會提供參與者一個簡單的環境,讓參與者可以透過遠端操作來了解 Etcd 的基本操作。參與者必備個人筆電,透過 SSH 操控遠端機器。 ...

October 1, 2025 · 1 min · 206 words · chechiachang

Workshop: Kubernetes Summit: Get started with Etcd & Kubernetes

活動時間: 2024-10-23T13:20:00Z 活動連結 Facebook Twitter 投影片 工作坊內容 兩個場次 2024-10-23T13:20-14:50 @ 603+604 2024-10-24T13:20-14:50 @ 605 Get Started 請點擊本頁上方投影片連結 Git clone 本次 workshop 資源 https://github.com/chechiachang/etcd-playground 活動當天現場,會提供一台 Linux VM 做使用 Workshop Get started with Etcd & Kubernetes / 手把手搭建 Etcd 與 K8s Outline Etcd 是 Kubernetes 的重要元件之一,本次工作坊將帶領觀眾初探 Etcd,包含安裝,設定,以及操作。並藉由本地的 Etcd 來架設一個最簡單的 Kubernetes Cluster。 預計內容:環境設定,Etcd 設定與部署,Etcd 基礎操作,部署 kube-apiserver / kube-controller-manager / kube-scheduler,使用 kubectl 操作 Kubernetes Cluster。讓參與者透過本次工作坊,可以有操作 k8s control plane 的經驗,更了解 Etcd 的基本操作,以及了解 Kubernetes 的基本架構。 (規劃中)本次工作坊會提供參與者一個簡單的環境,讓參與者可以透過遠端操作來了解 Etcd 的基本操作。參與者必備個人筆電,透過 SSH 操控遠端機器。 ...

October 23, 2024 · 1 min · 133 words · chechiachang