LLM 工程、Agentic System 架構與 Harness Engineering 技術部落格https://warmwater.dev/zh-TWhttps://warmwater.dev/blog/why-python-ai-engineers-learn-typescript/https://warmwater.dev/blog/why-python-ai-engineers-learn-typescript/TypeScript 不是 Python 的替代品，而是 AI 工具鏈 User-facing 層的最佳選擇。本文用光譜圖拆解兩個語言的分工邊界，列出四個讓 TypeScript 更適合 User-facing AI 開發的原因，並說明為什麼 Vibe Coding 時代是進入的最好時機。Sun, 10 May 2026 00:00:00 GMTViewpoint, TutorialViewpointTutorialhttps://warmwater.dev/blog/self-escalate-agent/https://warmwater.dev/blog/self-escalate-agent/self-escalate-agent 是一個刻意不完整的最小 CLI Agent：遇到能力缺口不亂猜，自動開 GitHub Issue 讓人決定下一步要補什麼。本文拆解原型機哲學、SOUL.md 行為準則設計、自評 JSON 可觀測性，以及 Agent 透過人機協作迴路逐步成長的構想。Sat, 09 May 2026 00:00:00 GMTHarness Engineering, ImplementHarness EngineeringImplementhttps://warmwater.dev/blog/agent-skill-self-reinforcement/https://warmwater.dev/blog/agent-skill-self-reinforcement/hermes-agent 在 harness 層設計了一個自我強化迴路：每次任務結束後，背景 review agent 自動分析試錯過程，決定是否建立或更新 skill。這篇拆解這個機制的設計哲學、雙模式 improve、filter 邏輯，以及 skill 數量如何影響 domain agent 的準確率。Fri, 08 May 2026 00:00:00 GMTHarness EngineeringHarness Engineeringhttps://warmwater.dev/blog/ai-anxiety-to-positioning/https://warmwater.dev/blog/ai-anxiety-to-positioning/名詞在幾個月內換了三輪——Prompt Engineering、Context Engineering、Harness Engineering。這篇不是技術指南，是講 AI 時代工程師怎麼用 Top-Down 建 Index、選定自己的賽道，以及為什麼走過的每段路都不會白費。Fri, 08 May 2026 00:00:00 GMTHarness EngineeringHarness Engineeringhttps://warmwater.dev/blog/when-to-fine-tune-rl-for-domain/https://warmwater.dev/blog/when-to-fine-tune-rl-for-domain/前沿模型的能力邊界由訓練資料決定。企業內部的 error log、私有 stack、fork 過的工具，本質上不在公開訓練集，靠 scaling 補不了這個缺口。這篇解析 Fine-tuning SLM 的定位、工具選擇，以及什麼情況下不該動模型。Fri, 08 May 2026 00:00:00 GMTHarness EngineeringHarness Engineeringhttps://warmwater.dev/blog/agent-memory-identity-design/https://warmwater.dev/blog/agent-memory-identity-design/Agent 的個性漂移通常不是模型問題，根源是 Identity 資訊沒有被固定在對的地方，以及流動知識沒有退場機制。這篇從固定知識與流動知識的設計邊界出發，整理 SOUL.md 設計邏輯、system prompt 結構、Memory 應該記什麼，以及腐爛記憶如何連回品質漂移、Hygiene 機制怎麼設計。Thu, 07 May 2026 00:00:00 GMTHarness EngineeringHarness Engineeringhttps://warmwater.dev/blog/domain-specialized-agentic-system/https://warmwater.dev/blog/domain-specialized-agentic-system/從 Karpathy 的「理解不能外包」出發，拆解讓 Agentic System 在特定 domain 穩定運行的四層地圖：Model 層（fine-tuning/RL）、Knowledge 層（RAG）、Harness 層（memory/skill）、Tool 層，以及為什麼可觀測性是所有改善的前提。Thu, 07 May 2026 00:00:00 GMTHarness EngineeringHarness Engineeringhttps://warmwater.dev/blog/llm-observability-design/https://warmwater.dev/blog/llm-observability-design/從 LLM 系統漸進式品質下降的特性出發，拆解讓 Agentic System 在 Production 穩定運行的可觀測性設計：Tracing 定位失敗層次、三層 Evaluation 量化非確定性品質、行為異常偵測找到比 Cost 飆升更早的預警訊號，以及沒有可觀測性為何讓 P0 無從追查。Thu, 07 May 2026 00:00:00 GMTHarness Engineering, LLMOpsHarness EngineeringLLMOpshttps://warmwater.dev/blog/agentic-loop-design/https://warmwater.dev/blog/agentic-loop-design/一個能在生產環境長跑的 Agentic System，核心 Loop 需要解決五個工程問題：工具並行執行的安全邊界、API 錯誤的精確分類策略、三種停止條件的設計邏輯，以及 interrupt 與 steer 的語義差異。以 hermes-agent 為例逐一拆解。Wed, 06 May 2026 00:00:00 GMTHarness EngineeringHarness Engineeringhttps://warmwater.dev/blog/gsd-gstack-mattpocock-superpowers-comparison/https://warmwater.dev/blog/gsd-gstack-mattpocock-superpowers-comparison/很多人問 GSD 和 Superpowers 哪個更好，但這四個 AI Coding Agent Skill 系統解的根本不是同一個問題。本文從 Context 策略、工作流擁有權、行為約束三個維度深度比較，找到對的工具。Tue, 05 May 2026 00:00:00 GMTSkillSkillhttps://warmwater.dev/blog/llm-session-harness/https://warmwater.dev/blog/llm-session-harness/Session 管理是 Harness Engineering 的基礎設施問題。當 AI 系統從單次問答演化成長時間運作的 Agentic System，session 的設計選擇直接決定任務能不能在中斷、重啟、context 耗盡之後繼續存活。本文整理四種連續性策略與三種中斷狀態的設計模式。Tue, 05 May 2026 00:00:00 GMTHarness EngineeringHarness Engineeringhttps://warmwater.dev/blog/n8n-agentic-workflow/https://warmwater.dev/blog/n8n-agentic-workflow/n8n 不是 AI 框架，它是 workflow 引擎。哪些節點該用 AI 推理、哪些用確定性邏輯，這個判斷決定了系統成本與穩定性。本文整理兩種節點的設計原則、Cheap Agent triage 與 Agentic Close Loop 的組合方式，以及 SRE 監控的完整案例。Mon, 04 May 2026 00:00:00 GMTAgentic SystemAgentic Systemhttps://warmwater.dev/blog/superpowers-plan-mode-ai-agent/https://warmwater.dev/blog/superpowers-plan-mode-ai-agent/AI coding agent 有四個可預測的失敗模式，Plan Mode 只解決其中一個。本文分析 Superpowers 如何用 Skill 懶載入注入架構覆蓋整個 coding lifecycle，以及 Iron Law、Gate Function、Context 隔離三個可移植的 AI Agent 行為設計模式。Sun, 03 May 2026 00:00:00 GMTSkillSkillhttps://warmwater.dev/blog/ai-native-25-40yc/https://warmwater.dev/blog/ai-native-25-40yc/2021 年，YC 的 AI Native 公司佔比是 7%。到 S25，這個數字是 40%，四年成長將近六倍。 但這個比例本身不是最有意思的部分。有意思的是它發生的順序。 這篇文章追蹤 2024 年到 2025 年四個 YC batchSat, 02 May 2026 00:00:00 GMTViewpointViewpointhttps://warmwater.dev/blog/agent-20260501/https://warmwater.dev/blog/agent-20260501/tags: [agent-system-design, harness-engineering, langgraph, practical-guide, context-engineering] 這個系列看了四個 AgentFri, 01 May 2026 00:00:00 GMTHarness Engineering, System DesignHarness EngineeringSystem Designhttps://warmwater.dev/blog/agent-20260430/https://warmwater.dev/blog/agent-20260430/tags: [agent-system-design, harness-engineering, multi-agent, context-engineering, comparison, hermes-agent, openclaw, crewai, claude-code]Thu, 30 Apr 2026 00:00:00 GMTHarness Engineering, System DesignHarness EngineeringSystem Designhttps://warmwater.dev/blog/claude-code-claw-code-coding-agent/https://warmwater.dev/blog/claude-code-claw-code-coding-agent/tags: [claude-code, agent-system-design, harness-engineering, hooks, permissions, context-engineering, mcp, skills] claw-code 是 Claude Code 的Wed, 29 Apr 2026 00:00:00 GMTSource Code, Agentic SystemSource CodeAgentic Systemhttps://warmwater.dev/blog/crewai/https://warmwater.dev/blog/crewai/tags: [crewai, agent-system-design, multi-agent, role-semantics, harness-engineering, memory-system, flow, guardrail] 讀 CrewAI 原始碼，第一個讓我停下來的，是Tue, 28 Apr 2026 00:00:00 GMTSource Code, Agentic SystemSource CodeAgentic Systemhttps://warmwater.dev/blog/hermes-agent-vs-openclaw-agent/https://warmwater.dev/blog/hermes-agent-vs-openclaw-agent/讀完兩個框架的原始碼，最讓我印象深刻的不是它們有多不同，而是它們各自選擇了不同的問題去解。hermes-agent 和 OpenClaw 都在做「production-grade Agent」，都踩過同樣的坑，也都認真解決了那些坑——只是解法的方向，幾乎處處相反。Mon, 27 Apr 2026 00:00:00 GMTSource Code, Agentic SystemSource CodeAgentic Systemhttps://warmwater.dev/blog/hermes-agent-production-agent/https://warmwater.dev/blog/hermes-agent-production-agent/--- tags: [agent-system-design, harness-engineering, hermes-agent, context-engineering, memory-management, llm-framework, rl-training, skill-system]Sat, 25 Apr 2026 00:00:00 GMTSource Code, Agentic SystemSource CodeAgentic Systemhttps://warmwater.dev/blog/openclaw-agent/https://warmwater.dev/blog/openclaw-agent/tags: [agent-system-design, openclaw, gateway, multi-agent, context-engineering, high-availability, exec-safety, harness-engineering] 讓 AgentSat, 25 Apr 2026 00:00:00 GMTSource Code, Agentic SystemSource CodeAgentic Systemhttps://warmwater.dev/blog/agent-20260423/https://warmwater.dev/blog/agent-20260423/tags: [agent-system-design, harness-engineering, deepagents, openclaw, hermes-agent, multi-agent, llm-framework, context-engineering] 打開原始碼才發現：三個Thu, 23 Apr 2026 00:00:00 GMTSource Code, Agentic SystemSource CodeAgentic Systemhttps://warmwater.dev/blog/autoresearch-c-33x/https://warmwater.dev/blog/autoresearch-c-33x/系列：C++ AI 推論 10 天學習筆記 — Day 3 「沒有寫過 C++，怎麼做效能優化？」 用你最擅長的方式：設計實驗，讓數字說話。 為什麼要先量測 C++ 給了你很多可以拉的槓桿——但不是每個槓桿在每個場景都有效，而且效果大小往往不直覺。 幾個常見的優化方向：Fri, 17 Apr 2026 00:00:00 GMTImplementImplementhttps://warmwater.dev/blog/python-go-c/https://warmwater.dev/blog/python-go-c/系列：C++ AI 推論 10 天學習筆記 — Day 2 「C++ 有那麼多東西，我要學哪些才能寫 inference code？」 答案：7 件事。其他先跳過。 為什麼是 7 件事？ ONNX Runtime 的 C++ API 不是從零開始設計的，它是給已經懂 C++ 的人用的。但是從Thu, 16 Apr 2026 00:00:00 GMTTutorialTutorialhttps://warmwater.dev/blog/claude-code-c/https://warmwater.dev/blog/claude-code-c/系列：C++ AI 推論 10 天學習筆記 — Day 1 這不是一篇語法教學，而是一個 Python/Go 工程師試圖搞清楚：「C++ 在現代 AI 工程裡的位置到底是什麼？」的探索過程。 一個讓我困惑的現象 最近在研究幾個 LLM serving 框架，發現一件有趣的事：Wed, 15 Apr 2026 00:00:00 GMTViewpoint, TutorialViewpointTutorialhttps://warmwater.dev/blog/frontierminiproduction-llm/https://warmwater.dev/blog/frontierminiproduction-llm/最近在做 System Design 的時候，一直繞著同一個問題打轉：同樣是「讓系統能用 LLM」，到底要選哪條路？ Frontier model 直接上最省事，但 cost 和 latency 是問題。Mini model 是個中間地帶，但它解決的是成本問題，不見得解決能力問題。自建Mon, 13 Apr 2026 00:00:00 GMTSystem DesignSystem Designhttps://warmwater.dev/blog/prompt-transformer-ai/https://warmwater.dev/blog/prompt-transformer-ai/有一次我在調一個 LLM 的 prompt，同樣的問題，把關鍵資訊放在 context 的前半段和後半段，得到的答案品質差很多。當下直覺是措辭的問題，調了半天，後來才意識到問題根本不在措辭——是在 Transformer 的注意力機制本身。 這件事讓我開始認真回去讀 TransformerMon, 06 Apr 2026 00:00:00 GMTSystem DesignSystem Designhttps://warmwater.dev/blog/ml-agent/https://warmwater.dev/blog/ml-agent/一個 ML 轉 Backend 工程師的想法 我的背景是 ML，後來刻意往 Backend 走，想學怎麼把想法打造成一個完整的系統。 在 ML 的時候，每次看到新的 Kaggle 比賽，有個習慣動作：去翻 top solution 的Sat, 04 Apr 2026 00:00:00 GMTImplementImplementhttps://warmwater.dev/blog/harness-engineering-ai/https://warmwater.dev/blog/harness-engineering-ai/三個詞，三種不同的問題 過去幾年，圍繞 LLM 的工程實踐出現了幾個高頻詞彙：Prompt Engineering、Context Engineering、Harness Engineering。它們聽起來都是「讓 AI 跑得更好」，但實際上在解決三個完全不同層次的問題： | 領域 | 核心問題Thu, 02 Apr 2026 00:00:00 GMTHarness EngineeringHarness Engineeringhttps://warmwater.dev/blog/langchain-langgraph-harness-engineering-deepagents/https://warmwater.dev/blog/langchain-langgraph-harness-engineering-deepagents/前言 上一篇介紹了 Harness Engineering 的概念——圍繞 LLM 建立的執行基礎設施，讓模型能安全、可控地在真實世界行動。這篇從理論走到實作：用一個真實的 POC，示範如何把 Harness 的五個維度用 LangChain + LangGraph 落地。 分析材料來自Thu, 02 Apr 2026 00:00:00 GMTHarness Engineering, ImplementHarness EngineeringImplementhttps://warmwater.dev/blog/ai-agent-100/https://warmwater.dev/blog/ai-agent-100/引言 大家都知道 AI 已經會寫 ML 程式碼了，但有個問題一直沒解決： 實驗還是要人類一個一個跑。 能不能讓 AI 自己做實驗？ 最近 Karpathy 發布的 autoresearch 很夯： > “給 AI Agent 一個小型 LLM 訓練環境，讓它自主實驗一整晚。它會改 code、訓練Fri, 27 Mar 2026 00:00:00 GMTImplementImplementhttps://warmwater.dev/blog/vibe-coding/https://warmwater.dev/blog/vibe-coding/在 AI 輔助開發的時代，Claude 和 ChatGPT 可以幫你寫 code，但「何時用哪個指標」、「為什麼模型會失效」、「如何避開陷阱」這些決策，才是工程師的核心價值。本文聚焦在機器學習中 7 個最容易出錯但影響最深遠的決策點，幫助你從「會用工具」進化到「懂得決策」。Thu, 26 Mar 2026 00:00:00 GMTViewpointViewpointhttps://warmwater.dev/blog/llm-agent/https://warmwater.dev/blog/llm-agent/想讓你的 LLM 能自主執行多步驟任務、動態調用工具、根據結果調整策略？這篇文章帶你深入理解 Agent 系統！你將學到：四大核心架構模式（ReAct、Plan-and-Execute、Tool Calling、Reflexion）、當前演進趨勢（Multi-Agent、LangGraph、MemoMon, 23 Mar 2026 00:00:00 GMTAgentic System, System DesignAgentic SystemSystem Designhttps://warmwater.dev/blog/rag-system/https://warmwater.dev/blog/rag-system/想讓你的 LLM 應用能回答特定領域問題、引用可靠來源、提供最新資訊？這篇文章帶你從零開始掌握 RAG 系統！你將學到：如何選擇技術組合（Chunking、Embedding、Vector DB）、三大查詢優化策略（Query Transformation、HybridMon, 23 Mar 2026 00:00:00 GMTRAG, System DesignRAGSystem Designhttps://warmwater.dev/blog/design-pattern/https://warmwater.dev/blog/design-pattern/寫給已經聽過 Design Pattern、但不確定「什麼時候該用、什麼時候是 over-engineering」的工程師。 前言：Vibe Coding 時代，你更需要懂 Design Pattern 現在是 Vibe Coding 的時代。Cursor、Copilot、Claude CodeThu, 05 Mar 2026 00:00:00 GMTSystem Design, TutorialSystem DesignTutorialhttps://warmwater.dev/blog/python/https://warmwater.dev/blog/python/寫給已經會寫 Python、但想搞清楚「為什麼選這個」的工程師。 前言：Vibe Coding 時代，你更需要懂資料結構 現在是 Vibe Coding 的時代。Cursor、Copilot、Claude Code 幫你寫完大部分的程式碼，你一個下午就能 ship 一個 MVP。但問題來了——Wed, 04 Mar 2026 00:00:00 GMTTutorialTutorialhttps://warmwater.dev/blog/llm-cache-prompt-cache-semantic-cache/https://warmwater.dev/blog/llm-cache-prompt-cache-semantic-cache/核心觀點：Prompt Cache 幫你省 token，Semantic Cache 幫你省思考 問題的起點：真正的成本問題不是 Token 【Context】 你的 LLM 系統每天處理上萬次請求。Prompt 已經精簡到不能再短，Prefix 也固定了，但成本還是居高不下。問題出在哪？Thu, 01 Jan 2026 00:00:00 GMTSystem DesignSystem Designhttps://warmwater.dev/blog/claude-skills-agent/https://warmwater.dev/blog/claude-skills-agent/核心觀點：Skills 不是呼叫工具，而是教 Claude 如何做一件事 問題的起點：為什麼 Agent 需要 Skills？ 【Context】 當你想讓 Claude 幫你執行重複性任務——格式化文件、審核合約、建立 Excel 公式——最直覺的做法是把所有指令塞進Wed, 31 Dec 2025 00:00:00 GMTSkillSkillhttps://warmwater.dev/blog/llm-vector-db/https://warmwater.dev/blog/llm-vector-db/> 適合讀者：想了解 Vector DB 核心概念的開發者，不需要深入演算法細節，但想知道「為什麼這樣設計」 問題的起點：為什麼傳統資料庫不夠用？ 【Context】 當你問 ChatGPT「什麼是 LangChain？」，它能給出流暢的回答。但當你問「我們公司上週的會議記錄提到什麼？」，它一無所知Wed, 31 Dec 2025 00:00:00 GMTRAG, System DesignRAGSystem Designhttps://warmwater.dev/blog/rag/https://warmwater.dev/blog/rag/案例來源：LangChain 團隊重建自家 Chatbot 的真實經驗與架構演進 問題的起點：內部工程師不用自家產品 【Context】 LangChain 團隊營運著 chat.langchain.com，一個基於向量檢索的 AI chatbot，用於回答 LangChainFri, 05 Dec 2025 00:00:00 GMTRAGRAGhttps://warmwater.dev/blog/langchain-vs-langgraph-vs-deepagents-ai-agent/https://warmwater.dev/blog/langchain-vs-langgraph-vs-deepagents-ai-agent/> 系列文章：本文是 LangChain 生態系統深度解析系列，幫助你選擇最適合的 Agent 框架 如果你曾經遇過： > 「LangChain、LangGraph、DeepAgents 都是 LangChain 的產品，到底有什麼差別？」 > 「我該用哪一個框架來建構 AI Agent？」 >Thu, 04 Dec 2025 00:00:00 GMTAgentic System, System DesignAgentic SystemSystem Designhttps://warmwater.dev/blog/post/https://warmwater.dev/blog/post/> 關鍵技術：FastAPI、React、yfinance、Tavily API、SQLite 你有沒有想過，如果能「回到過去」練習股票交易該有多好？這次我打造了一個台股交易模擬訓練平台，讓你可以在歷史資料上練習交易決策，並且查看當時的真實新聞！ 為什麼要做這個專案？Thu, 27 Nov 2025 00:00:00 GMTStock & Finance, ImplementStock & FinanceImplementhttps://warmwater.dev/blog/langchain-middleware-summarization-ai/https://warmwater.dev/blog/langchain-middleware-summarization-ai/> 系列文章：本文是 LangChain Middleware 系列的第二篇，專注於 SummarizationMiddleware 如果你曾經遇過： > 「我的 AI 客服對話越來越長，Token 成本暴增，但又不能直接砍掉對話歷史…」 那這篇文章就是為你準備的！我們要介紹 LangChainFri, 14 Nov 2025 00:00:00 GMTTutorialTutorialhttps://warmwater.dev/blog/langchain-middleware-todolist-ai/https://warmwater.dev/blog/langchain-middleware-todolist-ai/系列文章：本文是 LangChain Middleware 系列的第三篇（完結篇），專注於 TodoListMiddleware 如果你曾經遇過： 「我的 AI Agent 處理複雜任務時，常常漏掉某些步驟…」 「多步驟工作流程很難追蹤進度，不知道哪些完成了…」 「想讓 AIFri, 14 Nov 2025 00:00:00 GMTTutorialTutorialhttps://warmwater.dev/blog/langchain-1-0-tool-calling-ai-agent/https://warmwater.dev/blog/langchain-1-0-tool-calling-ai-agent/如果你曾經想過： 「我能不能讓 AI 自己決定要用哪個工具來完成任務？」 那你來對地方了！這篇文章要帶你體驗 LangChain 1.0 的 Tool Calling 功能，讓你的 AI Agent 不只會聊天，還能根據情境自動選擇並執行工具。 Tool Calling 是什麼？ ToolThu, 13 Nov 2025 00:00:00 GMTTutorialTutorialhttps://warmwater.dev/blog/langchain-middleware-human-in-the-loop-ai/https://warmwater.dev/blog/langchain-middleware-human-in-the-loop-ai/系列文章：本文是 LangChain Middleware 系列的第一篇，專注於 Human-in-the-Loop Middleware 如果你曾經想過： 「我的 AI Agent 能自動發郵件、刪資料，但我想在執行前先確認一下…」 那你來對地方了！這篇文章要帶你認識 LangChainThu, 13 Nov 2025 00:00:00 GMTTutorialTutorialhttps://warmwater.dev/blog/agentic-context-engineering-ai/https://warmwater.dev/blog/agentic-context-engineering-ai/前言 在 AI 代理人（Agent）的開發過程中，我們經常遇到一個棘手的問題：如何讓代理人持續學習並改進，而不是在多次互動後逐漸「失憶」或產生錯誤？這就是「情境工程」（Context Engineering）要解決的核心挑戰。 今天要介紹的 Agentic Context EngineeringThu, 06 Nov 2025 00:00:00 GMTPaper NotesPaper Noteshttps://warmwater.dev/blog/dynamic-cheatsheet-paper/https://warmwater.dev/blog/dynamic-cheatsheet-paper/核心問題 如何讓 LLM Agent 在推理（Inference）階段也能夠持續學習，使其表現隨著推理次數增加而逐步提升？ 傳統的機器學習模型在訓練完成後就固定不變，但 Dynamic Cheatsheet 提出了一種創新方法，讓模型在實際使用過程中也能累積經驗並自我優化。Thu, 06 Nov 2025 00:00:00 GMTPaper NotesPaper Noteshttps://warmwater.dev/blog/langfuse/https://warmwater.dev/blog/langfuse/在大語言模型（LLM）應用快速發展的時代，如何有效地監控、評估和改進 AI 系統成為了開發者面臨的重要挑戰。Langfuse 作為一個專為 LLM 應用設計的可觀測性和實驗平台，為開發團隊提供了全面的解決方案。 什麼是 Langfuse？ Langfuse 是一個開源的 LLMMon, 03 Nov 2025 00:00:00 GMTLLMOpsLLMOpshttps://warmwater.dev/blog/reasoningbank-scaling-agent-self-evolving-with-reasoning-memory/https://warmwater.dev/blog/reasoningbank-scaling-agent-self-evolving-with-reasoning-memory/Paper: https://arxiv.org/abs/2509.25140v1 Top-5 Important Points 1. 核心問題與設計挑戰：現有智能代理在跨任務、跨網站及跨領域的泛化能力不足，主要因為記憶管理機制無法有效組織與調用過往推理經驗，導致在新環境下需重複冗餘探索。如何讓代理Mon, 03 Nov 2025 00:00:00 GMTPaper NotesPaper Noteshttps://warmwater.dev/blog/ai-agent/https://warmwater.dev/blog/ai-agent/核心重點摘要 本文深度比較三大主流 LLM 評估框架 - DeepEval、Promptfoo 和 LangChain AgentEvals，專注於 AI Agent 應用場景。我們提供實務導入指南，並詳細說明為什麼 G-Eval 指標特別適合評估 AI Agent 的推理能力。 為什麼 AITue, 21 Oct 2025 00:00:00 GMTLLMOpsLLMOpshttps://warmwater.dev/blog/llm-agent-trader-chatgpt-3/https://warmwater.dev/blog/llm-agent-trader-chatgpt-3/嗨大家！歡迎來到 Part 3！再次感謝所有在表單中給予回饋的朋友們。看到這麼多人期待開源，我決定把這個專案分享出來。雖然最近真的有點忙碌，沒時間好好整理 repo，但我會重點分享幾個大家可以著手改進的方向。如果這個專案對你有幫助，或者激發了你的靈感，記得幫忙點個星星，讓我稍微滿足一下虛榮心 😊Mon, 01 Sep 2025 00:00:00 GMTStock & FinanceStock & Financehttps://warmwater.dev/blog/llm-agent-trader-chatgpt-2/https://warmwater.dev/blog/llm-agent-trader-chatgpt-2/先感謝大家上次開表單後踴躍的Feedback (現在還是可以繼續填跟許願), 過了忙碌的一週後, 又持續前進了, 這次新增的依然是一個小概念: 策略討論室, 可以跟LLM互動, challenge他當天做出決策的動機是什麼 下面是簡易演示版本(我們在跑回測的時候, 已經有一個簡易的交易策略)Tue, 19 Aug 2025 00:00:00 GMTStock & Finance, ImplementStock & FinanceImplementhttps://warmwater.dev/blog/llm-agent-trader-chatgpt/https://warmwater.dev/blog/llm-agent-trader-chatgpt/> 關鍵詞: AI交易機器人、ChatGPT股票分析、智能量化交易、LLM金融應用、程式交易系統、人工智慧投資 > > 閱讀時間: 3-5分鐘 | 適合對象: 對AI交易有興趣的投資者、程式交易初學者 > > 最後更新: 2025年8月12日 我們先來看個Demo, 你再決定要不要繼續讀下去～Tue, 12 Aug 2025 00:00:00 GMTStock & Finance, ImplementStock & FinanceImplementhttps://warmwater.dev/blog/pr-review-llmpr-2025/https://warmwater.dev/blog/pr-review-llmpr-2025/關鍵字： AI 程式碼分析、GitHub PR Review、開源工具、LLM 應用、程式碼品質、自動化分析、技術學習、Code Review 工具、軟體開發、ChatGPT 應用 🔥 2025年最新！ 想從資深工程師的 PR 審查中偷師學藝嗎？每次看到同事的 PRWed, 23 Jul 2025 00:00:00 GMTImplementImplementhttps://warmwater.dev/blog/llm-stock-team-analyzer/https://warmwater.dev/blog/llm-stock-team-analyzer/> 關鍵字: LLM、AI 工具、技術分析、自動化、開源專案、金融資料、ChatGPT 應用、RAG 機制、ChromaDB、LangGraph > 摘要: 學習如何使用 LLM Stock Team AnalyzerTue, 15 Jul 2025 00:00:00 GMTStock & Finance, ImplementStock & FinanceImplementhttps://warmwater.dev/blog/tradingagents-multi-agents-llm-financial-tradingframework/https://warmwater.dev/blog/tradingagents-multi-agents-llm-financial-tradingframework/前陣子練習的side project (https://github.com/jason8745/llm-stock-analyzer)的完成體是參考這篇論文的架構 論文連結: TradingAgents: Multi-Agents LLM Financial TradingFrameworkMon, 07 Jul 2025 00:00:00 GMTStock & Finance, Paper NotesStock & FinancePaper Noteshttps://warmwater.dev/blog/prompt-copilot/https://warmwater.dev/blog/prompt-copilot/GitHub Copilot 是許多開發者不可或缺的 AI 助手，但你是否也曾遇過這種情況： 「咦？它怎麼還用舊版的 Pydantic 語法？」 「為什麼補的程式碼不符合我們團隊的風格？」 這些看似小問題，背後的主因是 —— Copilot 對你的專案背景「一無所知」。 幸好，GitHubSat, 28 Jun 2025 00:00:00 GMTViewpointViewpointhttps://warmwater.dev/blog/rag-huggingface-embeddings-llm-pdf/https://warmwater.dev/blog/rag-huggingface-embeddings-llm-pdf/如果你曾經想過： 「我能不能把整份 PDF 丟給模型，讓它幫我找重點、回答問題？」 那你來對地方啦 👏 這篇文章要帶你體驗 RAG（Retrieval-Augmented Generation） 的魅力，並且搭配 HuggingFace 的超強嵌入模型，把你手上的文件變成超級知識庫 📖⚡️ 🤔Tue, 10 Jun 2025 00:00:00 GMTRAG, TutorialRAGTutorialhttps://warmwater.dev/blog/langchain-llm-ai-agent/https://warmwater.dev/blog/langchain-llm-ai-agent/嗨大家好！今天這篇，我們要來玩一點 進階的 LangChain 技巧，主題是—— 如何讓 AI 模型自己決定要不要用工具，甚至自己挑選哪個工具！ 是不是很帥？😎 就像一位智慧小助理會思考：「嗯...這題我不太熟，我去查一下」或「喔～這只是個簡單的數學題，我自己算給你聽就好！」 🧰Sun, 08 Jun 2025 00:00:00 GMTTutorialTutorialhttps://warmwater.dev/blog/llm-tools-duckduckgo-ai/https://warmwater.dev/blog/llm-tools-duckduckgo-ai/大家好～今天來帶大家體驗一下 LangChain 中非常實用又有趣的一個能力：讓 AI 模型學會「使用工具」！ 沒錯，你沒看錯，我們不只要問 LLM 問題，還要教他先去查資料再回答！這樣做最大的好處是什麼？👇 ✅ 回答變得更即時 ✅ 能處理與外部世界有關的資訊 ✅Fri, 06 Jun 2025 00:00:00 GMTTutorialTutorialhttps://warmwater.dev/blog/ai-outputparser/https://warmwater.dev/blog/ai-outputparser/大家應該都有過這樣的經驗吧？ 你請 AI 幫你列出某個國家的資訊，結果它回來一段很有禮貌、但又難以讀取的「自由發揮文字」👇： 嗨～這裡是你想要的資訊哦！ 國家名稱：日本 首都：東京 面積：377,975 平方公里 看起來人類 OK，但程式碼看到這會崩潰 😵！ 今天就來教你怎麼用 幫你的Thu, 05 Jun 2025 00:00:00 GMTTutorialTutorialhttps://warmwater.dev/blog/langchain-chain-lcel/https://warmwater.dev/blog/langchain-chain-lcel/大家好～今天要來跟大家聊聊 LangChain 中超級實用、也超有彈性的功能之一 —— 🔗！ 不誇張，這個概念就是 LangChain 的靈魂 💀。而當你搭配上 LCEL（LangChain Expression Language），那你就像獲得了程式語言的魔法棒 🪄，組裝 AIThu, 05 Jun 2025 00:00:00 GMTTutorialTutorialhttps://warmwater.dev/blog/chatprompttemplate-ai/https://warmwater.dev/blog/chatprompttemplate-ai/在跟 AI 打交道的世界裡，Prompt 就像是劇本，而 就是導演，幫你安排每個角色該說什麼、怎麼說 🎬。 這篇文章會帶你了解： * 💬 如何用 建立多角色的對話流程 * 🧑‍🤝‍🧑 、、 角色的三種寫法 * 🔍 vs 的差異與適用場景 🎭 三種建立 ChatPromptTemplate 的方式Wed, 04 Jun 2025 00:00:00 GMTTutorialTutorialhttps://warmwater.dev/blog/prompttemplate-prompt-langchain/https://warmwater.dev/blog/prompttemplate-prompt-langchain/在開始玩 LLM 的路上，你一定會遇到一個問題：「我要怎麼把變數放進 prompt 裡？」 手動組字串嗎？那多辛苦！更別說 prompt 一改，還得全手改 code，真的會 prompt 到天荒地老。 這時候，你需要的是——PromptTemplate ✨ 🧩 PromptTemplateWed, 04 Jun 2025 00:00:00 GMTTutorialTutorialhttps://warmwater.dev/blog/azurechatopenai-say-hello/https://warmwater.dev/blog/azurechatopenai-say-hello/在開始動手做 LLM 專案之前，總得先來個「Hello World」儀式感，畢竟不跟模型打聲招呼，就像進辦公室沒先泡咖啡一樣。 今天這篇就簡單分享一下：怎麼用 跑出人生第一句話！ 這次我使用的是： LangChain：作為框架主體，用來與模型互動 Azure OpenAI：模型部署在 AzureTue, 03 Jun 2025 00:00:00 GMTTutorialTutorialhttps://warmwater.dev/blog/llm/https://warmwater.dev/blog/llm/好久沒更新網誌了（有點心虛地偷看上一篇日期），最近終於有個好藉口可以回來寫寫字了。剛好團隊最近有個Project，終於可以名正言順地開始碰LLM這塊神秘又炙手可熱的領域！ 所以我想來寫一系列的文章，記錄一下自己在學Tue, 03 Jun 2025 00:00:00 GMTTutorialTutorial