AI O11y:數據決策到技術選型

📅 活動時間:2026-10-15 🔗 活動連結 📘 聯繫我 Facebook 📑 投影片 Title AI O11y:數據決策到技術選型 Outline LLM application 與 AI agent 的問題,通常不只是在服務是否存活。當模型輸出品質下降、latency 變高或成本突然增加時,團隊需要知道每一次 request 經過了哪些步驟、使用了什麼模型與 prompt,以及最後產生了什麼結果。傳統的 logging 與 metrics 往往不足以回答這些問題。 本次分享將介紹 LLM observability 的基本概念,並以 Langfuse 為例,示範如何建立 tracing、觀察 model call 與 agent workflow,從 traces 中分析品質、延遲與成本,逐步建立可供開發與維運使用的 feedback loop。 為什麼 LLM application 需要新的 observability Trace、span、generation 與 metadata 使用 Langfuse 收集與查看 LLM traces 從 tracing 分析 latency、token usage 與成本 觀察 prompt、model output 與 agent workflow Observability 的限制:如何走向 evaluation 與 decision system Demo & POC 將 LLM application 串接 Langfuse 查看單次 request 的完整 trace 比較不同模型與 prompt 的 latency、成本與輸出 從 observations 建立 dataset 與 evaluation 的起點 Target group 正在導入或維運 LLM / Agent 系統的工程團隊 關心品質、延遲、成本與上線風險的 Tech Lead / SRE / Platform Team 已有 logging 與 metrics,但缺乏 LLM tracing 的開發團隊 想使用 Langfuse 建立 AI application observability 的工程師 主要收穫 你將能理解 LLM tracing 與傳統服務 observability 的差異,使用 Langfuse 追蹤模型呼叫與 agent workflow,並從 traces 取得品質、延遲與成本分析所需的資料,為後續 evaluation 與 regression 建立基礎。 ...

October 14, 2026 · 1 min · 175 words · chechiachang

AI Gateway:AI 治理的第一步

📅 活動時間:2026-10-15 🔗 活動連結 📘 聯繫我 Facebook 📑 投影片 Title AI Gateway:AI 治理的第一步 Outline 當團隊開始使用多個 LLM provider 與模型,API Key、模型路由、成本控管、權限與 tracing 很快就會分散在各個應用程式中。AI Gateway 提供一個統一入口,讓團隊能集中管理模型存取與應用流量,也讓後續的觀測、評估與治理更容易落地。 本次分享將從實務問題出發,介紹 AI Gateway 的核心能力與導入方式,並討論它能解決什麼、不能解決什麼,以及如何與 observability、evaluation 和 AI application workflow 整合。 為什麼團隊需要 AI Gateway 統一模型存取、路由與 fallback API Key、權限與成本治理 串接 tracing、logging 與 LLM observability 以實務情境設計 AI Gateway workflow 導入限制、風險與後續演進 Target group 正在導入 LLM 或 AI application 的後端與平台工程師 負責 API、雲端基礎設施與開發維運的 DevOps / SRE 想建立模型治理、成本控管與 observability 的技術主管與架構師 主要收穫 你將能理解 AI Gateway 在 LLM application architecture 中的角色,掌握模型路由、權限、成本與 tracing 的基本設計,並具備評估團隊是否適合導入 AI Gateway 的實務判斷依據。 ...

September 15, 2026 · 1 min · 108 words · chechiachang

規格驅動的 AI 強化 DevOps - 演講逐字稿

規格驅動的 AI 強化 DevOps 演講逐字稿 開場 今天要分享的主題是「規格驅動的 AI 強化 DevOps」,副標是「篩選適合的情境,SDD 成為你的平台開發神器」。我是 Che-Chia Chang。 議程概述 在這場議程中,我會告訴各位三個重點: 第一,Spec-kit 跑起來是什麼樣子。我會用實際的例子展示工作流程。 第二,我會提供四個實務情境,說明哪些任務適合 SDD,哪些不適合。 第三,Spec-kit 帶來的代價是什麼,以及我們如何應對。 情境 1:跨平台,稽核內部平台帳號 讓我們從第一個情境開始。在許多企業中,都有一個共同的痛點:所有內部帳號需要定期稽核,確保沒有過期離職的帳號存在。 面對這類需求,有幾個重要的考量: 首先,如果有現成工具就直接用工具,不用閉門造車。但如果現成工具需求不符合,用 AI 閉門造車現在非常的快又便宜。 但這裡出現了一個大哉問——後續維護是否好維護?這個疑問很關鍵。 實際 Spec-kit 工作流程展示 讓我們看一下,實際的 Spec-kit 會長怎樣。假設我們在 VSCode Chat(Copilot)中啟用 spec-kit,流程會是這樣: 第一步:產生 Spec 使用 /speckit.specify 命令,我們描述需求: 寫一個工具,列出所有內部平台帳號 工具需要根據條件檢查帳號狀態與權限 包含單元測試,模擬帳號的整合測試 還要有 e2e 測試,產出符合稽核格式的結果 第二步:釐清 Spec 然後使用 /speckit.clarify 命令,不斷釐清模糊的地方,直到沒有歧義: 平台包含 AWS、GitHub、Jenkins 等 帳號狀態包含 active、expired、pending 權限包含 admin、write、read-only 這個過程非常重要,因為清楚的規格是後續成功的基礎。 第三步:規劃實作 使用 /speckit.plan 根據 Spec 產生 Plan,列出實作步驟,檢查相依性,準備 checklist。 ...

June 25, 2026 · 3 min · 575 words · chechiachang

When Not to Vibe:從 Vibe Coding 到 Spec-driven AI Engineering 的轉折點

活動時間:2026-07-01 12:00-12:30 活動連結 聯繫我 Facebook 投影片 Title When Not to Vibe 從 Vibe Coding 到 Spec-driven AI Engineering Outline AI 讓「寫 code」變得容易,但實際在開發上,常見現象是一開始很順、越做越亂,LLM 逐步偏離設計,context 越長結果反而越不準。這不是 prompt 不夠強或模型不夠大,而是 LLM 本質上不擅長長時間、持續演進的任務。vibe coding 適合快速探索小範圍任務與短期 context,但長任務會走向失焦(loss of alignment);context window 也不是越大越好,資訊堆疊會造成 attention 稀釋,且 LLM 沒有真正長期記憶。 這場分享現實:AI 讓寫 code 變快,卻不保證長時間任務不失焦;為何 vibe coding 會在 context 拉長後 drift。並以 SpecKit 補上的結構化上下文價值、並了解其代價,以及從 spec-driven 走向 agent-driven 的實務經驗。 從 Vibe 出發:為何 LLM 在長時間任務中逐漸失焦 LLM 原理:Context 不斷堆疊,為何反而降低準確性 SpecKit 的價值:從 Prompt Chaos 到 Structured Spec 作為 Source of Truth 現實限制:Spec Tax、Drift,以及無法解決的痛點 SDD(Spec-driven Development)適用場景:PoC、Greenfield 等 從 Spec-driven 到 Agent-driven:Speckit 作為過渡形態 你將能清楚辨識 vibe coding 的有效範圍與失效訊號、理解 LLM 在長上下文下準確率下降的原因、評估 SpecKit 在實務上的收益與成本,並帶走一套可用於 PoC、Greenfield 與複雜系統規劃的導入與決策視角。 ...

May 3, 2026 · 1 min · 197 words · chechiachang

Workshop: Spec-driven development with Spec-kit

📅 活動時間:2026-07-02 09:00-10:30 🔗 活動連結 📘 聯繫我 Facebook 📑 投影片 Workshop Spec-kit 規格導向開發實作 Outline 使用 AI agent 進行規格導向開發(Spec-driven development, SDD)已成為現代軟體開發的重要趨勢。SDD 強調在開發過程中以明確的規格作為指導,從而提高開發效率和產品質量。在這場工作坊中,我們將深入探討 SDD 的核心概念,並通過實際操作 Spec-kit 來學習如何撰寫可執行的規格、利用範本和自動化腳本,以及將這些規格整合到日常的開發流程中。參與者將獲得制定策略、建立規格以及使用 Spec-kit 加速開發和驗證的實用技能。 這場工作坊將帶領大家從 SDD 的核心概念出發,藉由 Spec-kit 的實作示範,學習如何撰寫具有可執行性的規格、善用範本與自動化腳本,以及將這些規格系統整合到日常工作流程。 課程結束後,你能掌握制定策略、建立規格、以及利用 Spec-kit 加快開發與驗證的思路。 大綱 SDD 的核心概念與實踐流程 挑選適合的場景與任務,制定 SDD 策略 使用 Spec-kit 撰寫可執行規格 為何會有幫助:避免 Spec drift 多數團隊導入 AI 寫程式後,常見痛點是需求、規格、實作與測試不同步,最後演變成 Spec drift,導致返工與品質不穩定。 本次工作坊聚焦如何用 Spec-kit / SDD 建立「規格先行、可執行驗證、持續對齊」的流程,讓 AI 與工程團隊使用同一份契約協作。 你會看到一套可直接落地的做法:從需求釐清、規格撰寫、實作到驗證,縮短溝通迴圈、降低偏移風險,並提升交付一致性與可維護性。 Target group 本次工作坊提供可遠端連線的 Azure OpenAI 模型環境,請先準備筆電並安裝好 VS Code 與 Vs Code Codex Extension,並參考以下資源完成相關設定: ...

May 1, 2026 · 2 min · 222 words · chechiachang