LLM 工程手册LLM ENGINEERING

HANDBOOK九主题系统性学习路径

从 LangChain
到生产全栈

一套面向工程的系统性学习手册：框架基础、状态编排、检索增强、知识图谱、单智能体与多智能体系统，加上可观测评估、模型微调与 MCP 协议三大生产主题，全部基于 LangChain 1.x 与 LangGraph 1.x 的现代 API。

从第一章开始 9 章 难度入门到高阶 预计18+学时 Python 3.10+
00

学习路径：五个层次

九大主题并非平行罗列，而是一个自底向上的依赖结构。基础层提供组件，编排层提供控制流，应用层解决具体问题，系统层完成协作，生产层守住质量与迭代。

生产层 系统层 应用层 编排层 基础层 可观测与评估 模型微调 MCP 协议 Multi-Agent 系统 监督者 / 交接 / 团队协作与框架对比 Agent 智能体 高阶 RAG 知识图谱 LangGraph 状态编排 状态图 / 循环 / 持久化 / 人机协同 LangChain 框架基础 模型 / 提示词 / LCEL / 组件生态
自底向上构建：先掌握组件与表达式，再学会编排控制流，然后进入检索与智能体两大应用范式，组合成多智能体系统，最后用可观测、微调与协议接入把系统推向生产。
目录

九大主题

每一章都是一份完整的知识地图：概念讲解、架构图解、可运行代码、常见陷阱、实战练习与延伸资源。

01

LangChainFRAMEWORK

框架全景与核心组件：模型接入、消息体系、提示词模板、LCEL 与 Runnable、结构化输出、RAG 基础组件、工具调用、create_agent 与中间件、LangSmith 可观测性、版本演进与迁移。

组件LCEL1.x APILangSmith 阅读 → 入门 · 约 2.5 小时 02

LangGraphORCHESTRATION

状态图编程模型：State、Node、Edge 与 Reducer，条件分支与循环，Checkpoint 持久化，interrupt 人机协同，时间旅行，Send 并行分发，子图与函数式 API，流式输出，从零构建 ReAct 智能体。

状态图持久化HITL流式 阅读 → 进阶 · 约 3 小时 03

高阶 RAGRETRIEVAL

从朴素 RAG 到生产级检索：分块策略、Embedding 选型与微调、混合检索与 RRF 融合、查询变换（HyDE / 多查询 / 分解）、重排序、Self-RAG / CRAG / Adaptive RAG / RAPTOR / Agentic RAG 架构、RAGAS 评估体系。

混合检索重排序Agentic RAG评估 阅读 → 进阶 · 约 3 小时 04

知识图谱GRAPH RAG

图谱构建与 GraphRAG：三元组与本体、属性图与 RDF、LLM 实体关系抽取、Neo4j 与 Cypher、LLMGraphTransformer、Microsoft GraphRAG 与 LightRAG、向量与图谱混合检索、抽取质量控制。

三元组CypherGraphRAG混合检索 阅读 → 进阶 · 约 2.5 小时 05

Agent 智能体AGENCY

智能体的原理与实践：ReAct 循环、推理范式（Plan-and-Execute / Reflexion / ToT）、工具设计与调用、create_agent 与中间件体系、记忆与上下文工程、MCP 协议、人机协同、评测与调试、无框架手写 ReAct。

ReAct中间件MCP上下文工程 阅读 → 进阶 · 约 3 小时 06

Multi-Agent 系统ORCHESTRATION AT SCALE

多智能体架构与工程：监督者 / 层级 / 网络 / 交接拓扑、共享状态与消息传递、LangGraph supervisor 与 swarm 实现、CrewAI / AG2 / OpenAI Agents SDK 对比、设计原则、成本控制与完整实战。

拓扑SupervisorSwarm框架对比 阅读 → 高阶 · 约 3 小时 07

可观测与评估OBSERVABILITY

用 Langfuse 建立评估生产线：trace 树与业务上下文、埋点接入、prompt 版本化与灰度、黄金数据集、离线实验流水线、LLM 裁判设计与校准、用户反馈闭环与成本看板。

trace实验LLM 裁判看板 阅读 → 中级 · 约 2 小时 08

模型微调FINE-TUNING

把顽固的行为问题写进权重：何时微调的决策框架、LoRA 低秩适配原理、数据集工程与 chat template、TRL 实战 SFT、DPO 偏好对齐、蒸馏路线、合并量化与 vLLM 部署。

LoRASFTDPOvLLM 阅读 → 高阶 · 约 2.5 小时 09

MCP 模型上下文协议PROTOCOL

M×N 集成困境与开放协议：host/client/server 架构、tools/resources/prompts 三大原语、stdio 与 Streamable HTTP 传输、FastMCP 实战、Inspector 调试、接入 LangChain 与信任边界。

架构FastMCP集成安全 阅读 → 中级 · 约 1.5 小时
指南

推荐的使用方法

1

搭建环境

准备 Python 3.10+ 与至少一个模型服务（OpenAI、Anthropic 或本地 Ollama），按下一节安装依赖并配置 API Key。

2

按序阅读，边读边跑

每章的代码示例都设计为可直接粘贴运行。强烈建议为每章建一个独立目录，把示例逐一跑通，观察输出。

3

完成章末练习

每章末尾的实战清单是检验掌握程度的标准。完成练习比多读一遍文档更有价值。

4

构建自己的项目

第六章包含一个端到端的多智能体实战项目；第七至九章把系统推向生产：可观测与评估、模型微调、工具协议接入。把它们改造成你自己领域内的应用，是这套手册的最终目标。

准备

环境准备

所有章节共享同一套基础环境。推荐使用 uv 管理虚拟环境，也可以用 pip 替代。

# 1. 创建项目目录与虚拟环境（推荐 uv，也可用 python -m venv）
uv init llm-handbook && cd llm-handbook
uv venv && source .venv/bin/activate   # Windows PowerShell: .venv\Scripts\Activate.ps1

# 2. 安装本手册涉及的核心依赖
uv add langchain langgraph langchain-openai langchain-community \
       langchain-text-splitters langchain-mcp-adapters langfuse \
       faiss-cpu chromadb rank_bm25 ragas neo4j

# 第八章微调需要时再装：uv add trl peft transformers datasets

# 3. 配置模型服务的 API Key（以 OpenAI 为例，其他服务同理）
export OPENAI_API_KEY="sk-..."        # PowerShell: $env:OPENAI_API_KEY="sk-..."

# 4. 验证安装
python -c "import langchain, langgraph; print('ok')"
版本说明

本手册代码基于 LangChain 1.x / LangGraph 1.x（2025 年 10 月起为稳定主线）。老教程中大量出现的 AgentExecutor、LLMChain、create_react_agent 等接口已迁移至 langchain-classic 或被新 API 取代，各章会明确标注新旧对照。

本地模型方案

没有云端 API Key 时，可安装 Ollama 拉取 qwen2.5 或 llama3.1 等模型，再通过 langchain-ollama 包接入，示例代码与云端完全一致，只需替换模型初始化部分。