Openai

📅 活動時間：2026-08-09 🔗 活動連結 📘 聯繫我 Facebook 📑 投影片 Title Observe and evaluate LLM Coding Agents Outline 在導入 LLM Coding Agent 到日常開發後，很多團隊會遇到問題：品質不穩、風險難估、模型升級缺少客觀依據。本分享會從實務流程出發，介紹如何觀測 Agent 行為、把評估流程自動化，並建立可持續迭代的 decision system。 為什麼 LLM Coding Agent 需要 O11y 與 Evaluation 從 trace 開始：觀測 agent 任務、工具調用與失敗模式 Observability != Decision System：看得到不代表能決策 LLM-as-a-judge 在 coding 任務中的價值與限制 從 daily coding logs 抽取 dataset 建立 regression evaluation pipeline 與 quality gate 用量化結果比較不同模型與 agent framework 把模型升級與框架切換變成可驗證工程流程 Demo & POC https://github.com/chechiachang/llm-o11y Trace and observe local coding agents Build coding-task evals with LLM-as-a-judge Extract datasets from real developer-agent interactions Run regression tests for model / framework change decisions Target group 正在導入 AI coding workflow 的工程團隊 關心品質、成本、延遲與回歸風險的 Tech Lead / SRE / Platform Team 已有 tracing / logging，但缺少可執行評估與 deployment gate 的團隊 Slides 完整投影片與講稿 Author Che-Chia Chang 是一名專注於後端開發、開發維運、容器化應用及 Kubernetes 開發與管理的技術專家，同時也是 Microsoft 最有價值專業人士（MVP）。 ...

活動時間：2026-07-01 12:00-12:30 活動連結 聯繫我 Facebook 投影片 Title When Not to Vibe 從 Vibe Coding 到 Spec-driven AI Engineering Outline AI 讓「寫 code」變得容易，但實際在開發上，常見現象是一開始很順、越做越亂，LLM 逐步偏離設計，context 越長結果反而越不準。這不是 prompt 不夠強或模型不夠大，而是 LLM 本質上不擅長長時間、持續演進的任務。vibe coding 適合快速探索小範圍任務與短期 context，但長任務會走向失焦（loss of alignment）；context window 也不是越大越好，資訊堆疊會造成 attention 稀釋，且 LLM 沒有真正長期記憶。 這場分享現實：AI 讓寫 code 變快，卻不保證長時間任務不失焦；為何 vibe coding 會在 context 拉長後 drift。並以 SpecKit 補上的結構化上下文價值、並了解其代價，以及從 spec-driven 走向 agent-driven 的實務經驗。 從 Vibe 出發：為何 LLM 在長時間任務中逐漸失焦 LLM 原理：Context 不斷堆疊，為何反而降低準確性 SpecKit 的價值：從 Prompt Chaos 到 Structured Spec 作為 Source of Truth 現實限制：Spec Tax、Drift，以及無法解決的痛點 SDD（Spec-driven Development）適用場景：PoC、Greenfield 等 從 Spec-driven 到 Agent-driven：Speckit 作為過渡形態 你將能清楚辨識 vibe coding 的有效範圍與失效訊號、理解 LLM 在長上下文下準確率下降的原因、評估 SpecKit 在實務上的收益與成本，並帶走一套可用於 PoC、Greenfield 與複雜系統規劃的導入與決策視角。 ...

📅 活動時間：2026-07-02 15:30-16:00 🔗 活動連結 📘 聯繫我 Facebook 📑 投影片 Title LLM O11y：從 Observability 到 Decision System Outline 在導入 LLM 與 Agent 開發流程時，團隊常面臨規格難以驗證、品質無法量化、以及回歸測試成本高等痛點。本分享將介紹如何在 AI Agent Coding 流程中結合 Langfuse 與 LLM-as-a-judge，將自然語言規格轉化為可執行的 evaluation，建立自動化的驗證與 feedback loop。你將學到如何使用 llm ai gateway、langfuse tracing、實作 evaluation & judge 流程、抽取 dataset，打造第一個可觀測、可量化的 AI 開發工作流，讓 Agent 系統開發更穩定、更可預測。 用 impression 做 model/framework 選擇決策。使用新 model framework 可能增加 latency 與降低可用度 從 observability 開始: bifrost + langfuse observability 還不夠：Observability != Decision System LLM-as-a-judge 的價值與限制 從 observability 到 closed-loop feedback system evaluation / dataset / regression / decision gate llm-o11y PoC：decision layer 最小可行實作 把 LLM framework 選擇，從 gambling 變成可驗證決策 Demo & POC https://github.com/chechiachang/llm-o11y ...

📅 活動時間：2026-07-02 13:30-15:00 🔗 活動連結 📑 投影片 📘 Workshop Repo chechiachang/llm-o11y Workshop Overview 這是一場 hands-on workshop，目標是把 LLM 應用從「可觀測」推進到「可評估、可決策」。 你會在自己的電腦上直接跑完整流程，從 tracing 到 evaluation，再到 workflow 落地。 Agenda Docker Compose 在 localhost 啟動 Bifrost 與 Langfuse 串接 LLM AI Gateway 與 Langfuse tracing 建立 evaluation 與 LLM-as-a-judge 從實務觀測資料抽取 dataset 串成可重現的開發 workflow What You Will Build 本地可執行的 observability stack（Bifrost + Langfuse） 一條可重跑的 evaluation pipeline 可持續擴充的 dataset 與 regression 基礎 能用於模型/框架決策的 workflow Prerequisites 自備筆電（must bring your own PC） 可連外網路（stable network required） 可使用 Docker / Docker Compose 可使用 Git 與 terminal Workshop Resources Azure OpenAI models will be provided by the workshop. Target Audience 正在導入或維運 LLM / Agent 系統的工程團隊 想建立 tracing + evaluation + decision flow 的 Tech Lead / SRE / Platform Team 想把 PoC 推進到可持續工作流的開發者

📅 活動時間：2026-07-02 09:00-10:30 🔗 活動連結 📘 聯繫我 Facebook 📑 投影片 Workshop Spec-kit 規格導向開發實作 Outline 使用 AI agent 進行規格導向開發（Spec-driven development, SDD）已成為現代軟體開發的重要趨勢。SDD 強調在開發過程中以明確的規格作為指導，從而提高開發效率和產品質量。在這場工作坊中，我們將深入探討 SDD 的核心概念，並通過實際操作 Spec-kit 來學習如何撰寫可執行的規格、利用範本和自動化腳本，以及將這些規格整合到日常的開發流程中。參與者將獲得制定策略、建立規格以及使用 Spec-kit 加速開發和驗證的實用技能。 這場工作坊將帶領大家從 SDD 的核心概念出發，藉由 Spec-kit 的實作示範，學習如何撰寫具有可執行性的規格、善用範本與自動化腳本，以及將這些規格系統整合到日常工作流程。 課程結束後，你能掌握制定策略、建立規格、以及利用 Spec-kit 加快開發與驗證的思路。 大綱 SDD 的核心概念與實踐流程 挑選適合的場景與任務，制定 SDD 策略 使用 Spec-kit 撰寫可執行規格 為何會有幫助：避免 Spec drift 多數團隊導入 AI 寫程式後，常見痛點是需求、規格、實作與測試不同步，最後演變成 Spec drift，導致返工與品質不穩定。 本次工作坊聚焦如何用 Spec-kit / SDD 建立「規格先行、可執行驗證、持續對齊」的流程，讓 AI 與工程團隊使用同一份契約協作。 你會看到一套可直接落地的做法：從需求釐清、規格撰寫、實作到驗證，縮短溝通迴圈、降低偏移風險，並提升交付一致性與可維護性。 Target group 本次工作坊提供可遠端連線的 Azure OpenAI 模型環境，請先準備筆電並安裝好 VS Code 與 Vs Code Codex Extension，並參考以下資源完成相關設定： ...