Files
Obsidian/MyArticles/AI术语完全指南:从入门到进阶.md
2026-07-21 14:53:24 +08:00

1391 lines
42 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# AI术语完全指南:从入门到进阶
> 一份系统化的 AI 技术术语解释手册,从基础概念到高级应用,循序渐进,通俗易懂。
>
>
## Inference \& Optimization(推理与优化)
### KV cache
**什么是 KV Cache?**
KV Cache 是 Key\-Value 缓存,是加速大模型推理的最重要技术之一,避免重复计算。
**工作原理**:
- Transformer 每层都要计算 Attention 的 K(键)和 V(值)
- 生成第 1 个词:计算所有 token 的 K,V
- 生成第 2 个词:不用重新算前面的,只算新 token 的 K,V,缓存的直接用
- 以此类推\.\.\.
**效果**:
- 速度提升 2\-3 倍
- 显存占用稍微增加
- 生成越长,加速越明显
✅ **简短总结**:KV Cache 缓存 Attention 计算中的 Key 和 Value,避免生成每个 token 时都重新计算所有前面的 token,是推理加速的基础技术。
🧠 **简单思维模型**:KV Cache 就像**做数学题记中间结果**,算第二步时不用从头算第一步,直接用第一步算好的结果,大大加快速度。
⚠️ **初学者常见错误**:
1. 以为 KV Cache 免费 —— 会增加一些显存占用
2. 所有场景都开 KV Cache—— 极短的生成反而可能变慢
3. 不理解 Cache 的序列限制 —— 超过窗口需要重建缓存
🎯 **小练习 / 项目**:
运行同一个模型,分别开启和关闭 KV Cache,生成长文本(比如 1000 字),对比两者的生成速度差异。
---
### Flash Attention
**什么是 Flash Attention?**
Flash Attention 是斯坦福大学提出的 Attention 加速算法,通过优化计算顺序和内存访问,大幅提升速度并降低显存。
**核心优化**:
1. **Tiling(分块计算)**:把大矩阵分成小块,一块块算
2. **重计算**:不用存所有中间结果,需要时重新算
3. **IO 感知**:优化 GPU SRAM 和 HBM 之间的数据传输
**效果**:
- 速度提升 2\-4 倍
- 显存减少 50\-80%
- 长序列效果尤其明显
✅ **简短总结**:Flash Attention 通过优化 Attention 的计算方式和内存访问模式,在不损失精度的前提下大幅提升速度、降低显存,是现在所有大模型的标配。
🧠 **简单思维模型**:Flash Attention 就像**整理书桌**,原来把所有书都摊在桌上(占满内存),现在把书分堆,只把正在看的那堆拿出来,既快又省空间。
⚠️ **初学者常见错误**:
1. Flash Attention 只加速 —— 其实主要是省显存
2. 所有硬件都支持 —— 需要 Ampere 及以上架构
3. 一定比普通 Attention 快 —— 极短序列可能差不多
🎯 **小练习 / 项目**:
分别用普通 Attention 和 Flash Attention 跑一个长序列(4096 tokens),对比显存占用和计算时间。
---
### Speculative decoding(投机解码)
**什么是投机解码?**
投机解码用一个小模型 \&\#34;猜\&\#34; 接下来的 N 个词,然后大模型一次性验证,猜对了就跳过,猜错了再修正。
**工作流程**:
1. 小模型(草稿模型)快速生成 k 个候选词
2. 大模型(目标模型)并行验证这 k 个词
3. 猜对的都保留,猜错的从那里重新开始
4. 平均每次能生成 2\-3 个词
**效果**:
- 速度提升 2\-3 倍
- 输出完全和原模型一样(无质量损失)
- 不需要重新训练
✅ **简短总结**:投机解码用小模型快速 \&\#34;猜\&\#34; 多个词,大模型一次性验证,在不损失质量的前提下大幅提升生成速度,是推理加速的黑科技。
🧠 **简单思维模型**:投机解码就像**学霸帮学渣检查作业**,学渣(小模型)快速写完几道题,学霸(大模型)一眼检查完,对的就过,错的改,比学霸一道一道做快多了。
⚠️ **初学者常见错误**:
1. 会改变输出质量 —— 数学证明和原模型分布完全一致
2. 随便什么小模型都行 —— 需要和大模型分布接近
3. 加速比无上限 —— 通常 2\-3 倍是极限
🎯 **小练习 / 项目**:
用 llama\.cpp 开启投机解码,用 7B 模型做草稿模型验证 13B 模型,对比普通解码的 tokens / 秒速度。
---
### Inference optimization(推理优化)
**什么是推理优化?**
推理优化是各种让模型跑更快、用更少显存、支持更多并发用户的技术总称。
**主要优化方向**:
1. **算法层面**:KV Cache、Flash Attention、投机解码
2. **量化**:4bit/8bit 量化
3. **编译优化**:vLLM、TensorRT\-LLM
4. **批处理**:把多个请求合并处理
5. **连续批处理**:动态加入新请求
**优化目标**:
- **延迟**:单个用户的响应速度
- **吞吐量**:每秒能处理的 token 数
- **成本**:每 1000token 多少钱
✅ **简短总结**:推理优化包含算法、量化、编译、批处理等多种技术,目标是降低延迟、提高吞吐量、降低成本,是 AI 产品落地的关键。
🧠 **简单思维模型**:推理优化就像**开餐厅优化翻台率**,通过各种方法让同样大的店(GPU)能接待更多客人(用户),上菜更快(延迟低)。
⚠️ **初学者常见错误**:
1. 只优化速度 —— 吞吐量和成本同样重要
2. 优化过度影响质量 —— 要在质量和速度间平衡
3. 一种优化就够了 —— 通常需要多种技术组合
🎯 **小练习 / 项目**:
列出你能想到的所有推理优化技术,给每个技术打分:速度提升多少、显存节省多少、质量损失多少、实现难度多少。
---
### Model serving(模型服务)
**什么是模型服务?**
模型服务是把训练好的模型包装成 API,让用户通过网络调用,是大模型商业化的核心。
**模型服务做什么**:
1. **API 接口**:HTTP/gRPC 接口
2. **批处理调度**:智能合并请求
3. **负载均衡**:多 GPU / 多机器分配
4. **限流监控**:QPS 限制、日志监控
5. **弹性伸缩**:自动扩缩容
**常用框架**:
- vLLM:开源,性能好
- Text Generation Inference \(TGI\):Hugging Face
- TensorRT\-LLM:NVIDIA
- vLLM \> TGI \> 原生 transformers
✅ **简短总结**:模型服务将训练好的模型包装成可网络调用的 API,处理批处理、负载均衡、监控等工程问题,是大模型从 demo 到产品的关键一步。
🧠 **简单思维模型**:模型服务就像**外卖平台**,厨师(模型)在厨房做饭,平台接订单、调度、送餐、收钱,用户不用去厨房直接点餐就行。
⚠️ **初学者常见错误**:
1. 直接用 transformers 做服务 —— 性能差 10 倍以上
2. 不做批处理 ——GPU 利用率极低
3. 忽略监控 —— 出问题不知道
🎯 **小练习 / 项目**:
用 vLLM 启动一个模型服务,然后用 ab 或 wrk 做压力测试,看每秒能处理多少请求,GPU 利用率是多少。
---
### Batch inference(批量推理)
**什么是批量推理?**
批量推理是把多个请求放在一起同时处理,利用 GPU 的并行计算能力,大大提高效率。
**为什么批量处理更快?**
- GPU 是并行计算,算 1 个和算 8 个时间差不多
- 单独处理:8 个请求 = 8 × 时间
- 批量处理:8 个请求 ≈ 1 × 时间
**两种批处理**:
1. **静态批处理**:攒够 N 个请求一起处理
2. **连续批处理(Continuous Batching)**:不用等,处理完一个就补一个新的
✅ **简短总结**:批量推理将多个请求合并同时处理,充分利用 GPU 并行能力,大幅提高吞吐量、降低单 token 成本,是高并发服务的必备。
🧠 **简单思维模型**:批量推理就像**公交车 vs 出租车**,出租车(单请求)一次拉一个人,公交车(批量)一次拉几十人,人均成本低多了。
⚠️ **初学者常见错误**:
1. 批量越大越好 —— 太大反而变慢,通常 32\-64 最优
2. 只看吞吐量 —— 批量太大会增加延迟
3. 静态批处理就够了 —— 连续批处理好太多
🎯 **小练习 / 项目**:
写一个简单脚本,分别用 batch size=1, 4, 8, 16, 32 跑推理,记录每个 batch 的时间和吞吐量,画个曲线找最优值。
---
### GPU basics(GPU 基础)
**什么是 GPU?**
GPU = Graphics Processing Unit,图形处理器,现在是 AI 训练和推理的核心硬件。
**GPU vs CPU**:
- **CPU**:几个强大的核心,擅长复杂逻辑,串行计算
- **GPU**:几千个弱小的核心,擅长简单重复,并行计算
**AI 常用 GPU**:
- **消费级**:RTX 3090/4090(24GB)
- **数据中心**:A100(40/80GB)、H100(80GB)
- **性价比**:RTX 4090 \> A100 \> H100
**关键指标**:
- 显存大小(最重要)
- 显存带宽
- TFLOPS(算力)
✅ **简短总结**:GPU 通过数千个核心的大规模并行计算能力,成为 AI 训练和推理的核心硬件,显存大小是选择 GPU 的第一指标。
🧠 **简单思维模型**:CPU 是**一个数学教授**,算难题很快;GPU 是**10000 个小学生**,每人算一道简单题,10000 道题一起算完比教授快多了。
⚠️ **初学者常见错误**:
1. 只看算力不看显存 —— 显存不够再强也没用
2. 消费级卡不能做训练 ——4090 训练 7B 模型很好用
3. 越贵的卡性价比越高 ——4090 是性价比之王
🎯 **小练习 / 项目**:
做一个 GPU 对比表,列出 RTX 3090、4090、A10、A100、H100 的:显存、显存带宽、FP16 算力、价格、每 GB 显存成本。
---
### VRAM basics(显存基础)
**什么是 VRAM?**
VRAM = Video RAM,显卡专用内存,是 GPU 能同时放多少数据的决定因素。
**模型显存占用估算**:
- **FP16**:参数 × 2 字节 = 模型大小
- 7B 模型:14GB
- 13B 模型:26GB
- 70B 模型:140GB
- **4bit 量化**:参数 × 0\.5 字节
- 7B 模型:3\.5GB
- 13B 模型:6\.5GB
- 70B 模型:35GB
**显存还用来放什么**:
1. 模型权重
2. KV Cache
3. 中间激活值
4. 优化器状态(训练时)
✅ **简短总结**:VRAM 是 GPU 的专用内存,决定了能运行多大的模型,模型大小 = 参数量 × 每个参数字节数,量化可以大幅减少显存需求。
🧠 **简单思维模型**:VRAM 就像**工作台大小**,工作台越大,能同时放的材料(模型参数、中间结果)越多,能做的活越复杂。
⚠️ **初学者常见错误**:
1. 只算模型大小 ——KV Cache 和激活值也要占显存
2. 24GB 刚好放 13B FP16—— 实际需要留余量
3. 显存占满才好 —— 留 10\-20% 余量更稳定
🎯 **小练习 / 项目**:
用 nvidia\-smi 监控,分别加载 7B 模型的 FP16、8bit、4bit 版本,记录每个的显存占用,和理论值对比。
---
### Latency vs quality tradeoffs(延迟与质量权衡)
**什么是权衡?**
AI 推理中,速度和质量通常是矛盾的,要根据场景做取舍。
**常见的权衡点**:
|技术|质量影响|速度提升|适用场景|
|---|---|---|---|
|4bit 量化|极小|2x|几乎所有场景|
|8bit 量化|几乎无|1\.5x|所有场景|
|投机解码|无|2\-3x|所有场景|
|更小的模型|有损失|5\-10x|简单任务|
|减少 beam search|略有损失|2x|聊天场景|
|降低上下文|可能损失|显著|短对话|
**怎么选?**
- **聊天机器人**:延迟优先,用户等不及
- **写作 / 总结**:质量优先,慢一点没关系
- **批量处理**:吞吐量优先
✅ **简短总结**:推理中速度和质量通常需要权衡,不同场景优先级不同,聊天要快,复杂任务要质量,批量处理要吞吐量。
🧠 **简单思维模型**:延迟质量权衡就像**做饭**,快餐(快但一般)、家常菜(平衡)、米其林(慢但好吃),不同客人需求不同。
⚠️ **初学者常见错误**:
1. 什么都要最好 —— 又快又好又便宜不可能
2. 所有场景用同一个配置 —— 要分场景优化
3. 只看 benchmark—— 真实用户体验最重要
🎯 **小练习 / 项目**:
为三个场景设计优化方案:1)客服聊天机器人;2)文档总结工具;3)离线批量数据处理,分别说明你会选择什么模型、什么量化、什么优化技术。
---
## Local AI Ecosystem(本地 AI 生态)
### llama\.cpp
**什么是 llama\.cpp?**
llama\.cpp 是一个纯 C/C\+\+ 实现的 LLM 推理引擎,由 Georgi Gerganov 开发,开启了本地 AI 革命。
**核心特点**:
1. **纯 C 实现**:无依赖,到处能跑
2. **量化支持**:GGUF 格式,2bit\-16bit
3. **跨平台**:Windows/Mac/Linux/ 手机 / 浏览器
4. **CPU 优先**:没有 GPU 也能跑
5. **极快**:手工优化的 SIMD 代码
**为什么重要?**
- 第一个让普通人能在自己电脑跑大模型的项目
- 整个本地 AI 生态的基础
- Ollama、LM Studio 都是基于它
✅ **简短总结**:llama\.cpp 是纯 C 实现的轻量级 LLM 推理引擎,跨平台、支持 CPU、速度极快,是整个本地运行大模型生态的基石。
🧠 **简单思维模型**:llama\.cpp 就像**汽车的发动机**,Ollama、LM Studio 这些是车的外壳和内饰,核心发动机都是 llama\.cpp。
⚠️ **初学者常见错误**:
1. 只支持 LLaMA—— 现在支持所有主流模型
2. CPU 很慢 —— 苹果硅上 CPU 推理很快
3. 不支持 GPU—— 现在支持 CUDA/Metal/ROCm
🎯 **小练习 / 项目**:
去[github\.com/ggerganov/llama\.cpp](https://github.com/ggerganov/llama.cpp)下载,编译,然后跑一个 7B Q4 模型,体验一下纯 CPU 跑大模型。
---
### Ollama
**什么是 Ollama?**
Ollama 是最流行的本地运行大模型工具,把 llama\.cpp 包装得非常易用,一键下载运行。
**核心功能**:
1. **一键安装**:一条命令安装
2. **模型库**:`ollama run llama2` 自动下载运行
3. **OpenAI 兼容 API**:直接替换 OpenAI 接口
4. **多模型管理**:本地管理多个模型
5. **支持 LoRA**:动态加载 LoRA
**常用命令**:
```bash
ollama run llama2 # 运行Llama 2
ollama run mistral # 运行Mistral
ollama list # 列出本地模型
ollama pull qwen:7b # 下载模型
```
✅ **简短总结**:Ollama 将复杂的本地大模型运行简化到一条命令,自带模型库和 API 接口,是普通用户体验本地 AI 的首选工具。
🧠 **简单思维模型**:Ollama 就像**手机的应用商店**,搜一下,点一下,APP(模型)就装好了直接用,不用管编译、依赖这些技术细节。
⚠️ **初学者常见错误**:
1. Ollama 只能跑小模型 —— 现在支持 70B 甚至更大
2. 只能命令行用 —— 有很多 GUI 前端
3. 性能比原生 llama\.cpp 差 —— 几乎没差别
🎯 **小练习 / 项目**:
安装 Ollama,然后依次运行 llama2、mistral、qwen 三个模型,和它们对话,体验不同模型的特点,然后用 curl 调用它的 API。
---
### vLLM
**什么是 vLLM?**
vLLM 是 UC Berkeley 开发的高性能 LLM 推理和服务引擎,是现在性能最好的开源服务框架。
**核心技术**:
1. **PagedAttention**:像操作系统虚拟内存一样管理 KV Cache
2. **连续批处理**:不用等,动态加入请求
3. **极致优化**:比 transformers 快 10\-20 倍
4. **OpenAI 兼容 API**:直接替换
**性能对比**:
- transformers:1x
- TGI:3\-5x
- vLLM:10\-20x
✅ **简短总结**:vLLM 通过 PagedAttention 和连续批处理等创新,提供了目前最快的 LLM 推理和服务性能,是生产部署的首选。
🧠 **简单思维模型**:vLLM 就像**高铁**,transformers 是绿皮火车,TGI 是动车,vLLM 是又快又稳载客量又大的高铁。
⚠️ **初学者常见错误**:
1. 只适合大部署 —— 个人用也比 transformers 快很多
2. 只支持 NVIDIA—— 现在也支持 AMD 和苹果硅
3. 部署很复杂 —— 一条命令就启动了
🎯 **小练习 / 项目**:
用 pip 安装 vLLM,启动一个 OpenAI 兼容的 API 服务,然后用同样的请求分别调用 vLLM 和原生 transformers,对比 tokens/s 速度。
---
### MLX
**什么是 MLX?**
MLX 是苹果公司推出的苹果硅芯片专用的机器学习框架,专为 M 系列芯片优化。
**核心优势**:
1. **统一内存**:CPU/GPU 共享内存,不用拷贝
2. **苹果硅优化**:充分利用 Neon、Metal
3. **原生支持**:M1/M2/M3 都能发挥最大性能
4. **简单易用**:API 类似 NumPy/PyTorch
**能做什么**:
- 快速推理 LLM
- 本地微调(QLoRA)
- 训练小模型
- M2 Ultra 能跑 70B 模型!
✅ **简短总结**:MLX 是苹果专为 M 系列芯片优化的机器学习框架,充分利用苹果硅的统一内存架构,在 Mac 上跑大模型速度远超其他框架。
🧠 **简单思维模型**:MLX 就像**苹果芯片的专属司机**,最懂这辆车的性能,能开出最快最稳的速度,其他通用司机(PyTorch)做不到。
⚠️ **初学者常见错误**:
1. 所有 Mac 都一样 —— 芯片越强差别越大
2. 和 PyTorch 速度差不多 ——MLX 快 2\-3 倍
3. 只能推理 —— 也能训练和微调
🎯 **小练习 / 项目**:
如果你有 Mac,安装 mlx\-examples,跑一个 Llama 7B 模型,对比 Ollama 的速度,感受苹果硅的威力。
---
### Hugging Face
**什么是 Hugging Face?**
Hugging Face 是 AI 界的 GitHub,最大的模型和数据集社区,也是最重要的开源 AI 基础设施。
**核心产品**:
1. **Hub**:模型仓库,几十万个模型
2. **Transformers**:最流行的模型库
3. **Datasets**:数据集库
4. **Accelerate**:分布式训练
5. **PEFT**:参数高效微调
6. **TRL**:强化学习 / 对齐
**为什么重要?**
- 几乎所有开源模型都上传到 Hugging Face
- 所有 AI 开发者都用它的工具
- 整个开源 AI 生态的中心
✅ **简短总结**:Hugging Face 是开源 AI 的中心枢纽,提供模型仓库、模型库、数据集等核心工具,是每个 AI 开发者的必备工具。
🧠 **简单思维模型**:Hugging Face 就像**AI 界的淘宝**,模型是商品,大家都在上面开店卖货(上传模型),买家(开发者)在上面挑货,还有各种配套工具。
⚠️ **初学者常见错误**:
1. 只是模型下载站 —— 工具生态才是核心
2. 模型都能用 —— 很多模型质量很差
3. 只能用它的库 —— 也可以直接下载权重
🎯 **小练习 / 项目**:
注册 Hugging Face 账号,浏览 Models 页面,按下载量排序,看看最流行的模型都是哪些,然后用 transformers 库加载其中一个。
---
### Unsloth
**什么是 Unsloth?**
Unsloth 是一个专注于微调速度优化的库,能让 LoRA 微调速度提升 2\-5 倍,显存减少一半。
**核心优化**:
1. **手工优化的内核**:每个算子都手动优化
2. **降精度优化**:聪明的混合精度
3. **减少冗余计算**:去掉不必要的计算
4. **支持所有主流模型**:Llama、Mistral、Qwen 等
**效果**:
- 微调 7B 模型:RTX 3090 上 1 小时搞定
- 微调 13B 模型:24GB 显存足够
- 零质量损失
✅ **简短总结**:Unsloth 通过高度优化的内核,让 LoRA 微调速度提升数倍、显存减半,是现在个人用户微调大模型的首选工具。
🧠 **简单思维模型**:Unsloth 就像**给汽车刷 ECU**,发动机还是那个发动机,但优化后马力大增,油耗还降低了,不用换硬件。
⚠️ **初学者常见错误**:
1. 只有微调快 —— 推理也优化了
2. 会损失质量 —— 官方证明和原生 LoRA 完全一致
3. 只支持少数模型 —— 现在支持所有主流开源模型
🎯 **小练习 / 项目**:
用 Unsloth 和用原生 peft 分别微调同一个模型,记录训练时间和显存占用,对比速度差异。
---
### Axolotl
**什么是 Axolotl?**
Axolotl 是一个一站式微调工具,把各种微调技术(LoRA、QLoRA、全参数)包装成配置文件驱动的工具。
**核心特点**:
1. **配置驱动**:写个 yaml 配置就开始微调
2. **支持所有方法**:LoRA、QLoRA、全参数
3. **支持所有模型**:几乎所有开源模型
4. **最佳实践**:内置各种优化和最佳实践
5. **多卡训练**:开箱即用分布式训练
**简单示例**:
```yaml
base_model: mistralai/Mistral-7B-v0.1
load_in_4bit: true
adapter: lora
lora_r: 8
lora_alpha: 16
datasets:
- path: my_dataset.jsonl
```
✅ **简短总结**:Axolotl 是一站式微调框架,通过配置文件统一各种微调方法,内置最佳实践,不用写代码就能专业地微调模型。
🧠 **简单思维模型**:Axolotl 就像**单反相机的自动模式**,专业摄影师(专家)调好所有参数,你只要按快门就行,不用懂每个参数怎么设。
⚠️ **初学者常见错误**:
1. 太复杂不适合新手 —— 反而比自己写代码简单
2. 只能微调 —— 也能做继续预训练
3. 性能不如手写 —— 内置的优化比大部分人写得好
🎯 **小练习 / 项目**:
安装 Axolotl,找一个示例配置文件,修改成你自己的数据集,跑一个微调,对比自己写代码的体验。
---
### PEFT
**什么是 PEFT?**
PEFT = Parameter\-Efficient Fine\-Tuning,Hugging Face 官方的参数高效微调库。
**支持的方法**:
1. **LoRA**:最常用
2. **AdaLoRA**:自适应 LoRA
3. **IA3**:Infused Adapter
4. **Prefix Tuning**:前缀微调
5. **Prompt Tuning**:提示微调
**优点**:
- 官方维护,质量有保证
- 和 transformers 无缝集成
- 支持所有模型
- 文档完善
✅ **简短总结**:PEFT 是 Hugging Face 官方的参数高效微调库,统一了 LoRA 等各种高效微调方法,和 transformers 无缝集成,是微调的标准工具。
🧠 **简单思维模型**:PEFT 就像**万能转接头**,不管什么模型(手机),都能用这个转接头接上各种适配器(LoRA 等),不用改原模型。
⚠️ **初学者常见错误**:
1. 只有 LoRA—— 还有很多其他方法
2. 只能 transformers 用 —— 也能给其他库用
3. 速度最快 ——Unsloth 优化版更快
🎯 **小练习 / 项目**:
用 PEFT 写一个最简单的 LoRA 微调脚本,10 行代码以内,理解 PEFT 的基本用法。
---
### TRL library
**什么是 TRL?**
TRL = Transformer Reinforcement Learning,Hugging Face 官方的强化学习和对齐库。
**支持的方法**:
1. **SFT**:监督微调
2. **Reward Modeling**:奖励模型训练
3. **PPO**:近端策略优化
4. **DPO**:直接偏好优化
5. **KTO**:新知识对齐
**为什么用 TRL?**
- 官方实现,正确可靠
- 各种对齐方法的标准实现
- 和 PEFT、transformers 集成
- 不用自己从头写 DPO
✅ **简短总结**:TRL 是 Hugging Face 官方的模型对齐库,提供 SFT、DPO、PPO 等各种对齐方法的标准实现,是做模型对齐的首选。
🧠 **简单思维模型**:TRL 就像**驾校的标准课程**,SFT 是科目一,DPO 是科目二科目三,按标准流程学,就能拿到驾照(对齐好的模型)。
⚠️ **初学者常见错误**:
1. 只能做 RL—— 现在 DPO 才是主力
2. 很难用 —— 封装得很好,简单易用
3. 只有 RLHF—— 支持各种新的对齐方法
🎯 **小练习 / 项目**:
用 TRL 的 DPOTrainer,跑一个最简单的 DPO 例子,理解偏好数据格式和训练流程。
---
## 📚 目录
1. \[Foundations(基础)\]\(\#foundations基础\)
2. \[Datasets \& Training(数据集与训练)\]\(\#datasets\-\-training数据集与训练\)
3. \[Fine\-Tuning(微调)\]\(\#fine\-tuning微调\)
4. \[Inference \& Optimization(推理与优化)\]\(\#inference\-\-optimization推理与优化\)
5. \[Local AI Ecosystem(本地 AI 生态)\]\(\#local\-ai\-ecosystem本地ai生态\)
6. \[RAG \& Memory(检索增强与记忆)\]\(\#rag\-\-memory检索增强与记忆\)
7. \[Agents \& Workflows(智能体与工作流)\]\(\#agents\-\-workflows智能体与工作流\)
8. \[Model Types(模型类型)\]\(\#model\-types模型类型\)
9. \[Deployment(部署)\]\(\#deployment部署\)
10. \[Evaluation(评估)\]\(\#evaluation评估\)
11. \[Real\-World Skills(实战技能)\]\(\#real\-world\-skills实战技能\)
## Inference \& Optimization(推理与优化)
### KV cache
**什么是 KV Cache?**
KV Cache 是 Key\-Value 缓存,是加速大模型推理的最重要技术之一,避免重复计算。
**工作原理**:
- Transformer 每层都要计算 Attention 的 K(键)和 V(值)
- 生成第 1 个词:计算所有 token 的 K,V
- 生成第 2 个词:不用重新算前面的,只算新 token 的 K,V,缓存的直接用
- 以此类推\.\.\.
**效果**:
- 速度提升 2\-3 倍
- 显存占用稍微增加
- 生成越长,加速越明显
✅ **简短总结**:KV Cache 缓存 Attention 计算中的 Key 和 Value,避免生成每个 token 时都重新计算所有前面的 token,是推理加速的基础技术。
🧠 **简单思维模型**:KV Cache 就像**做数学题记中间结果**,算第二步时不用从头算第一步,直接用第一步算好的结果,大大加快速度。
⚠️ **初学者常见错误**:
1. 以为 KV Cache 免费 —— 会增加一些显存占用
2. 所有场景都开 KV Cache—— 极短的生成反而可能变慢
3. 不理解 Cache 的序列限制 —— 超过窗口需要重建缓存
🎯 **小练习 / 项目**:
运行同一个模型,分别开启和关闭 KV Cache,生成长文本(比如 1000 字),对比两者的生成速度差异。
---
### Flash Attention
**什么是 Flash Attention?**
Flash Attention 是斯坦福大学提出的 Attention 加速算法,通过优化计算顺序和内存访问,大幅提升速度并降低显存。
**核心优化**:
1. **Tiling(分块计算)**:把大矩阵分成小块,一块块算
2. **重计算**:不用存所有中间结果,需要时重新算
3. **IO 感知**:优化 GPU SRAM 和 HBM 之间的数据传输
**效果**:
- 速度提升 2\-4 倍
- 显存减少 50\-80%
- 长序列效果尤其明显
✅ **简短总结**:Flash Attention 通过优化 Attention 的计算方式和内存访问模式,在不损失精度的前提下大幅提升速度、降低显存,是现在所有大模型的标配。
🧠 **简单思维模型**:Flash Attention 就像**整理书桌**,原来把所有书都摊在桌上(占满内存),现在把书分堆,只把正在看的那堆拿出来,既快又省空间。
⚠️ **初学者常见错误**:
1. Flash Attention 只加速 —— 其实主要是省显存
2. 所有硬件都支持 —— 需要 Ampere 及以上架构
3. 一定比普通 Attention 快 —— 极短序列可能差不多
🎯 **小练习 / 项目**:
分别用普通 Attention 和 Flash Attention 跑一个长序列(4096 tokens),对比显存占用和计算时间。
---
### Speculative decoding(投机解码)
**什么是投机解码?**
投机解码用一个小模型 \&\#34;猜\&\#34; 接下来的 N 个词,然后大模型一次性验证,猜对了就跳过,猜错了再修正。
**工作流程**:
1. 小模型(草稿模型)快速生成 k 个候选词
2. 大模型(目标模型)并行验证这 k 个词
3. 猜对的都保留,猜错的从那里重新开始
4. 平均每次能生成 2\-3 个词
**效果**:
- 速度提升 2\-3 倍
- 输出完全和原模型一样(无质量损失)
- 不需要重新训练
✅ **简短总结**:投机解码用小模型快速 \&\#34;猜\&\#34; 多个词,大模型一次性验证,在不损失质量的前提下大幅提升生成速度,是推理加速的黑科技。
🧠 **简单思维模型**:投机解码就像**学霸帮学渣检查作业**,学渣(小模型)快速写完几道题,学霸(大模型)一眼检查完,对的就过,错的改,比学霸一道一道做快多了。
⚠️ **初学者常见错误**:
1. 会改变输出质量 —— 数学证明和原模型分布完全一致
2. 随便什么小模型都行 —— 需要和大模型分布接近
3. 加速比无上限 —— 通常 2\-3 倍是极限
🎯 **小练习 / 项目**:
用 llama\.cpp 开启投机解码,用 7B 模型做草稿模型验证 13B 模型,对比普通解码的 tokens / 秒速度。
---
### Inference optimization(推理优化)
**什么是推理优化?**
推理优化是各种让模型跑更快、用更少显存、支持更多并发用户的技术总称。
**主要优化方向**:
1. **算法层面**:KV Cache、Flash Attention、投机解码
2. **量化**:4bit/8bit 量化
3. **编译优化**:vLLM、TensorRT\-LLM
4. **批处理**:把多个请求合并处理
5. **连续批处理**:动态加入新请求
**优化目标**:
- **延迟**:单个用户的响应速度
- **吞吐量**:每秒能处理的 token 数
- **成本**:每 1000token 多少钱
✅ **简短总结**:推理优化包含算法、量化、编译、批处理等多种技术,目标是降低延迟、提高吞吐量、降低成本,是 AI 产品落地的关键。
🧠 **简单思维模型**:推理优化就像**开餐厅优化翻台率**,通过各种方法让同样大的店(GPU)能接待更多客人(用户),上菜更快(延迟低)。
⚠️ **初学者常见错误**:
1. 只优化速度 —— 吞吐量和成本同样重要
2. 优化过度影响质量 —— 要在质量和速度间平衡
3. 一种优化就够了 —— 通常需要多种技术组合
🎯 **小练习 / 项目**:
列出你能想到的所有推理优化技术,给每个技术打分:速度提升多少、显存节省多少、质量损失多少、实现难度多少。
---
### Model serving(模型服务)
**什么是模型服务?**
模型服务是把训练好的模型包装成 API,让用户通过网络调用,是大模型商业化的核心。
**模型服务做什么**:
1. **API 接口**:HTTP/gRPC 接口
2. **批处理调度**:智能合并请求
3. **负载均衡**:多 GPU / 多机器分配
4. **限流监控**:QPS 限制、日志监控
5. **弹性伸缩**:自动扩缩容
**常用框架**:
- vLLM:开源,性能好
- Text Generation Inference \(TGI\):Hugging Face
- TensorRT\-LLM:NVIDIA
- vLLM \> TGI \> 原生 transformers
✅ **简短总结**:模型服务将训练好的模型包装成可网络调用的 API,处理批处理、负载均衡、监控等工程问题,是大模型从 demo 到产品的关键一步。
🧠 **简单思维模型**:模型服务就像**外卖平台**,厨师(模型)在厨房做饭,平台接订单、调度、送餐、收钱,用户不用去厨房直接点餐就行。
⚠️ **初学者常见错误**:
1. 直接用 transformers 做服务 —— 性能差 10 倍以上
2. 不做批处理 ——GPU 利用率极低
3. 忽略监控 —— 出问题不知道
🎯 **小练习 / 项目**:
用 vLLM 启动一个模型服务,然后用 ab 或 wrk 做压力测试,看每秒能处理多少请求,GPU 利用率是多少。
---
### Batch inference(批量推理)
**什么是批量推理?**
批量推理是把多个请求放在一起同时处理,利用 GPU 的并行计算能力,大大提高效率。
**为什么批量处理更快?**
- GPU 是并行计算,算 1 个和算 8 个时间差不多
- 单独处理:8 个请求 = 8 × 时间
- 批量处理:8 个请求 ≈ 1 × 时间
**两种批处理**:
1. **静态批处理**:攒够 N 个请求一起处理
2. **连续批处理(Continuous Batching)**:不用等,处理完一个就补一个新的
✅ **简短总结**:批量推理将多个请求合并同时处理,充分利用 GPU 并行能力,大幅提高吞吐量、降低单 token 成本,是高并发服务的必备。
🧠 **简单思维模型**:批量推理就像**公交车 vs 出租车**,出租车(单请求)一次拉一个人,公交车(批量)一次拉几十人,人均成本低多了。
⚠️ **初学者常见错误**:
1. 批量越大越好 —— 太大反而变慢,通常 32\-64 最优
2. 只看吞吐量 —— 批量太大会增加延迟
3. 静态批处理就够了 —— 连续批处理好太多
🎯 **小练习 / 项目**:
写一个简单脚本,分别用 batch size=1, 4, 8, 16, 32 跑推理,记录每个 batch 的时间和吞吐量,画个曲线找最优值。
---
### GPU basics(GPU 基础)
**什么是 GPU?**
GPU = Graphics Processing Unit,图形处理器,现在是 AI 训练和推理的核心硬件。
**GPU vs CPU**:
- **CPU**:几个强大的核心,擅长复杂逻辑,串行计算
- **GPU**:几千个弱小的核心,擅长简单重复,并行计算
**AI 常用 GPU**:
- **消费级**:RTX 3090/4090(24GB)
- **数据中心**:A100(40/80GB)、H100(80GB)
- **性价比**:RTX 4090 \> A100 \> H100
**关键指标**:
- 显存大小(最重要)
- 显存带宽
- TFLOPS(算力)
✅ **简短总结**:GPU 通过数千个核心的大规模并行计算能力,成为 AI 训练和推理的核心硬件,显存大小是选择 GPU 的第一指标。
🧠 **简单思维模型**:CPU 是**一个数学教授**,算难题很快;GPU 是**10000 个小学生**,每人算一道简单题,10000 道题一起算完比教授快多了。
⚠️ **初学者常见错误**:
1. 只看算力不看显存 —— 显存不够再强也没用
2. 消费级卡不能做训练 ——4090 训练 7B 模型很好用
3. 越贵的卡性价比越高 ——4090 是性价比之王
🎯 **小练习 / 项目**:
做一个 GPU 对比表,列出 RTX 3090、4090、A10、A100、H100 的:显存、显存带宽、FP16 算力、价格、每 GB 显存成本。
---
### VRAM basics(显存基础)
**什么是 VRAM?**
VRAM = Video RAM,显卡专用内存,是 GPU 能同时放多少数据的决定因素。
**模型显存占用估算**:
- **FP16**:参数 × 2 字节 = 模型大小
- 7B 模型:14GB
- 13B 模型:26GB
- 70B 模型:140GB
- **4bit 量化**:参数 × 0\.5 字节
- 7B 模型:3\.5GB
- 13B 模型:6\.5GB
- 70B 模型:35GB
**显存还用来放什么**:
1. 模型权重
2. KV Cache
3. 中间激活值
4. 优化器状态(训练时)
✅ **简短总结**:VRAM 是 GPU 的专用内存,决定了能运行多大的模型,模型大小 = 参数量 × 每个参数字节数,量化可以大幅减少显存需求。
🧠 **简单思维模型**:VRAM 就像**工作台大小**,工作台越大,能同时放的材料(模型参数、中间结果)越多,能做的活越复杂。
⚠️ **初学者常见错误**:
1. 只算模型大小 ——KV Cache 和激活值也要占显存
2. 24GB 刚好放 13B FP16—— 实际需要留余量
3. 显存占满才好 —— 留 10\-20% 余量更稳定
🎯 **小练习 / 项目**:
用 nvidia\-smi 监控,分别加载 7B 模型的 FP16、8bit、4bit 版本,记录每个的显存占用,和理论值对比。
---
### Latency vs quality tradeoffs(延迟与质量权衡)
**什么是权衡?**
AI 推理中,速度和质量通常是矛盾的,要根据场景做取舍。
**常见的权衡点**:
|技术|质量影响|速度提升|适用场景|
|---|---|---|---|
|4bit 量化|极小|2x|几乎所有场景|
|8bit 量化|几乎无|1\.5x|所有场景|
|投机解码|无|2\-3x|所有场景|
|更小的模型|有损失|5\-10x|简单任务|
|减少 beam search|略有损失|2x|聊天场景|
|降低上下文|可能损失|显著|短对话|
**怎么选?**
- **聊天机器人**:延迟优先,用户等不及
- **写作 / 总结**:质量优先,慢一点没关系
- **批量处理**:吞吐量优先
✅ **简短总结**:推理中速度和质量通常需要权衡,不同场景优先级不同,聊天要快,复杂任务要质量,批量处理要吞吐量。
🧠 **简单思维模型**:延迟质量权衡就像**做饭**,快餐(快但一般)、家常菜(平衡)、米其林(慢但好吃),不同客人需求不同。
⚠️ **初学者常见错误**:
1. 什么都要最好 —— 又快又好又便宜不可能
2. 所有场景用同一个配置 —— 要分场景优化
3. 只看 benchmark—— 真实用户体验最重要
🎯 **小练习 / 项目**:
为三个场景设计优化方案:1)客服聊天机器人;2)文档总结工具;3)离线批量数据处理,分别说明你会选择什么模型、什么量化、什么优化技术。
---
## Local AI Ecosystem(本地 AI 生态)
### llama\.cpp
**什么是 llama\.cpp?**
llama\.cpp 是一个纯 C/C\+\+ 实现的 LLM 推理引擎,由 Georgi Gerganov 开发,开启了本地 AI 革命。
**核心特点**:
1. **纯 C 实现**:无依赖,到处能跑
2. **量化支持**:GGUF 格式,2bit\-16bit
3. **跨平台**:Windows/Mac/Linux/ 手机 / 浏览器
4. **CPU 优先**:没有 GPU 也能跑
5. **极快**:手工优化的 SIMD 代码
**为什么重要?**
- 第一个让普通人能在自己电脑跑大模型的项目
- 整个本地 AI 生态的基础
- Ollama、LM Studio 都是基于它
✅ **简短总结**:llama\.cpp 是纯 C 实现的轻量级 LLM 推理引擎,跨平台、支持 CPU、速度极快,是整个本地运行大模型生态的基石。
🧠 **简单思维模型**:llama\.cpp 就像**汽车的发动机**,Ollama、LM Studio 这些是车的外壳和内饰,核心发动机都是 llama\.cpp。
⚠️ **初学者常见错误**:
1. 只支持 LLaMA—— 现在支持所有主流模型
2. CPU 很慢 —— 苹果硅上 CPU 推理很快
3. 不支持 GPU—— 现在支持 CUDA/Metal/ROCm
🎯 **小练习 / 项目**:
去[github\.com/ggerganov/llama\.cpp](https://github.com/ggerganov/llama.cpp)下载,编译,然后跑一个 7B Q4 模型,体验一下纯 CPU 跑大模型。
---
### Ollama
**什么是 Ollama?**
Ollama 是最流行的本地运行大模型工具,把 llama\.cpp 包装得非常易用,一键下载运行。
**核心功能**:
1. **一键安装**:一条命令安装
2. **模型库**:`ollama run llama2` 自动下载运行
3. **OpenAI 兼容 API**:直接替换 OpenAI 接口
4. **多模型管理**:本地管理多个模型
5. **支持 LoRA**:动态加载 LoRA
**常用命令**:
```bash
ollama run llama2 # 运行Llama 2
ollama run mistral # 运行Mistral
ollama list # 列出本地模型
ollama pull qwen:7b # 下载模型
```
✅ **简短总结**:Ollama 将复杂的本地大模型运行简化到一条命令,自带模型库和 API 接口,是普通用户体验本地 AI 的首选工具。
🧠 **简单思维模型**:Ollama 就像**手机的应用商店**,搜一下,点一下,APP(模型)就装好了直接用,不用管编译、依赖这些技术细节。
⚠️ **初学者常见错误**:
1. Ollama 只能跑小模型 —— 现在支持 70B 甚至更大
2. 只能命令行用 —— 有很多 GUI 前端
3. 性能比原生 llama\.cpp 差 —— 几乎没差别
🎯 **小练习 / 项目**:
安装 Ollama,然后依次运行 llama2、mistral、qwen 三个模型,和它们对话,体验不同模型的特点,然后用 curl 调用它的 API。
---
### vLLM
**什么是 vLLM?**
vLLM 是 UC Berkeley 开发的高性能 LLM 推理和服务引擎,是现在性能最好的开源服务框架。
**核心技术**:
1. **PagedAttention**:像操作系统虚拟内存一样管理 KV Cache
2. **连续批处理**:不用等,动态加入请求
3. **极致优化**:比 transformers 快 10\-20 倍
4. **OpenAI 兼容 API**:直接替换
**性能对比**:
- transformers:1x
- TGI:3\-5x
- vLLM:10\-20x
✅ **简短总结**:vLLM 通过 PagedAttention 和连续批处理等创新,提供了目前最快的 LLM 推理和服务性能,是生产部署的首选。
🧠 **简单思维模型**:vLLM 就像**高铁**,transformers 是绿皮火车,TGI 是动车,vLLM 是又快又稳载客量又大的高铁。
⚠️ **初学者常见错误**:
1. 只适合大部署 —— 个人用也比 transformers 快很多
2. 只支持 NVIDIA—— 现在也支持 AMD 和苹果硅
3. 部署很复杂 —— 一条命令就启动了
🎯 **小练习 / 项目**:
用 pip 安装 vLLM,启动一个 OpenAI 兼容的 API 服务,然后用同样的请求分别调用 vLLM 和原生 transformers,对比 tokens/s 速度。
---
### MLX
**什么是 MLX?**
MLX 是苹果公司推出的苹果硅芯片专用的机器学习框架,专为 M 系列芯片优化。
**核心优势**:
1. **统一内存**:CPU/GPU 共享内存,不用拷贝
2. **苹果硅优化**:充分利用 Neon、Metal
3. **原生支持**:M1/M2/M3 都能发挥最大性能
4. **简单易用**:API 类似 NumPy/PyTorch
**能做什么**:
- 快速推理 LLM
- 本地微调(QLoRA)
- 训练小模型
- M2 Ultra 能跑 70B 模型!
✅ **简短总结**:MLX 是苹果专为 M 系列芯片优化的机器学习框架,充分利用苹果硅的统一内存架构,在 Mac 上跑大模型速度远超其他框架。
🧠 **简单思维模型**:MLX 就像**苹果芯片的专属司机**,最懂这辆车的性能,能开出最快最稳的速度,其他通用司机(PyTorch)做不到。
⚠️ **初学者常见错误**:
1. 所有 Mac 都一样 —— 芯片越强差别越大
2. 和 PyTorch 速度差不多 ——MLX 快 2\-3 倍
3. 只能推理 —— 也能训练和微调
🎯 **小练习 / 项目**:
如果你有 Mac,安装 mlx\-examples,跑一个 Llama 7B 模型,对比 Ollama 的速度,感受苹果硅的威力。
---
### Hugging Face
**什么是 Hugging Face?**
Hugging Face 是 AI 界的 GitHub,最大的模型和数据集社区,也是最重要的开源 AI 基础设施。
**核心产品**:
1. **Hub**:模型仓库,几十万个模型
2. **Transformers**:最流行的模型库
3. **Datasets**:数据集库
4. **Accelerate**:分布式训练
5. **PEFT**:参
> (注:文档部分内容可能由 AI 生成)