42 KiB
AI术语完全指南:从入门到进阶
一份系统化的 AI 技术术语解释手册,从基础概念到高级应用,循序渐进,通俗易懂。
Inference & Optimization(推理与优化)
KV cache
什么是 KV Cache?
KV Cache 是 Key-Value 缓存,是加速大模型推理的最重要技术之一,避免重复计算。
工作原理:
-
Transformer 每层都要计算 Attention 的 K(键)和 V(值)
-
生成第 1 个词:计算所有 token 的 K,V
-
生成第 2 个词:不用重新算前面的,只算新 token 的 K,V,缓存的直接用
-
以此类推...
效果:
-
速度提升 2-3 倍
-
显存占用稍微增加
-
生成越长,加速越明显
✅ 简短总结:KV Cache 缓存 Attention 计算中的 Key 和 Value,避免生成每个 token 时都重新计算所有前面的 token,是推理加速的基础技术。
🧠 简单思维模型:KV Cache 就像做数学题记中间结果,算第二步时不用从头算第一步,直接用第一步算好的结果,大大加快速度。
⚠️ 初学者常见错误:
-
以为 KV Cache 免费 —— 会增加一些显存占用
-
所有场景都开 KV Cache—— 极短的生成反而可能变慢
-
不理解 Cache 的序列限制 —— 超过窗口需要重建缓存
🎯 小练习 / 项目: 运行同一个模型,分别开启和关闭 KV Cache,生成长文本(比如 1000 字),对比两者的生成速度差异。
Flash Attention
什么是 Flash Attention?
Flash Attention 是斯坦福大学提出的 Attention 加速算法,通过优化计算顺序和内存访问,大幅提升速度并降低显存。
核心优化:
-
Tiling(分块计算):把大矩阵分成小块,一块块算
-
重计算:不用存所有中间结果,需要时重新算
-
IO 感知:优化 GPU SRAM 和 HBM 之间的数据传输
效果:
-
速度提升 2-4 倍
-
显存减少 50-80%
-
长序列效果尤其明显
✅ 简短总结:Flash Attention 通过优化 Attention 的计算方式和内存访问模式,在不损失精度的前提下大幅提升速度、降低显存,是现在所有大模型的标配。
🧠 简单思维模型:Flash Attention 就像整理书桌,原来把所有书都摊在桌上(占满内存),现在把书分堆,只把正在看的那堆拿出来,既快又省空间。
⚠️ 初学者常见错误:
-
Flash Attention 只加速 —— 其实主要是省显存
-
所有硬件都支持 —— 需要 Ampere 及以上架构
-
一定比普通 Attention 快 —— 极短序列可能差不多
🎯 小练习 / 项目: 分别用普通 Attention 和 Flash Attention 跑一个长序列(4096 tokens),对比显存占用和计算时间。
Speculative decoding(投机解码)
什么是投机解码?
投机解码用一个小模型 "猜" 接下来的 N 个词,然后大模型一次性验证,猜对了就跳过,猜错了再修正。
工作流程:
-
小模型(草稿模型)快速生成 k 个候选词
-
大模型(目标模型)并行验证这 k 个词
-
猜对的都保留,猜错的从那里重新开始
-
平均每次能生成 2-3 个词
效果:
-
速度提升 2-3 倍
-
输出完全和原模型一样(无质量损失)
-
不需要重新训练
✅ 简短总结:投机解码用小模型快速 "猜" 多个词,大模型一次性验证,在不损失质量的前提下大幅提升生成速度,是推理加速的黑科技。
🧠 简单思维模型:投机解码就像学霸帮学渣检查作业,学渣(小模型)快速写完几道题,学霸(大模型)一眼检查完,对的就过,错的改,比学霸一道一道做快多了。
⚠️ 初学者常见错误:
-
会改变输出质量 —— 数学证明和原模型分布完全一致
-
随便什么小模型都行 —— 需要和大模型分布接近
-
加速比无上限 —— 通常 2-3 倍是极限
🎯 小练习 / 项目: 用 llama.cpp 开启投机解码,用 7B 模型做草稿模型验证 13B 模型,对比普通解码的 tokens / 秒速度。
Inference optimization(推理优化)
什么是推理优化?
推理优化是各种让模型跑更快、用更少显存、支持更多并发用户的技术总称。
主要优化方向:
-
算法层面:KV Cache、Flash Attention、投机解码
-
量化:4bit/8bit 量化
-
编译优化:vLLM、TensorRT-LLM
-
批处理:把多个请求合并处理
-
连续批处理:动态加入新请求
优化目标:
-
延迟:单个用户的响应速度
-
吞吐量:每秒能处理的 token 数
-
成本:每 1000token 多少钱
✅ 简短总结:推理优化包含算法、量化、编译、批处理等多种技术,目标是降低延迟、提高吞吐量、降低成本,是 AI 产品落地的关键。
🧠 简单思维模型:推理优化就像开餐厅优化翻台率,通过各种方法让同样大的店(GPU)能接待更多客人(用户),上菜更快(延迟低)。
⚠️ 初学者常见错误:
-
只优化速度 —— 吞吐量和成本同样重要
-
优化过度影响质量 —— 要在质量和速度间平衡
-
一种优化就够了 —— 通常需要多种技术组合
🎯 小练习 / 项目: 列出你能想到的所有推理优化技术,给每个技术打分:速度提升多少、显存节省多少、质量损失多少、实现难度多少。
Model serving(模型服务)
什么是模型服务?
模型服务是把训练好的模型包装成 API,让用户通过网络调用,是大模型商业化的核心。
模型服务做什么:
-
API 接口:HTTP/gRPC 接口
-
批处理调度:智能合并请求
-
负载均衡:多 GPU / 多机器分配
-
限流监控:QPS 限制、日志监控
-
弹性伸缩:自动扩缩容
常用框架:
-
vLLM:开源,性能好
-
Text Generation Inference (TGI):Hugging Face
-
TensorRT-LLM:NVIDIA
-
vLLM > TGI > 原生 transformers
✅ 简短总结:模型服务将训练好的模型包装成可网络调用的 API,处理批处理、负载均衡、监控等工程问题,是大模型从 demo 到产品的关键一步。
🧠 简单思维模型:模型服务就像外卖平台,厨师(模型)在厨房做饭,平台接订单、调度、送餐、收钱,用户不用去厨房直接点餐就行。
⚠️ 初学者常见错误:
-
直接用 transformers 做服务 —— 性能差 10 倍以上
-
不做批处理 ——GPU 利用率极低
-
忽略监控 —— 出问题不知道
🎯 小练习 / 项目: 用 vLLM 启动一个模型服务,然后用 ab 或 wrk 做压力测试,看每秒能处理多少请求,GPU 利用率是多少。
Batch inference(批量推理)
什么是批量推理?
批量推理是把多个请求放在一起同时处理,利用 GPU 的并行计算能力,大大提高效率。
为什么批量处理更快?
-
GPU 是并行计算,算 1 个和算 8 个时间差不多
-
单独处理:8 个请求 = 8 × 时间
-
批量处理:8 个请求 ≈ 1 × 时间
两种批处理:
-
静态批处理:攒够 N 个请求一起处理
-
连续批处理(Continuous Batching):不用等,处理完一个就补一个新的
✅ 简短总结:批量推理将多个请求合并同时处理,充分利用 GPU 并行能力,大幅提高吞吐量、降低单 token 成本,是高并发服务的必备。
🧠 简单思维模型:批量推理就像公交车 vs 出租车,出租车(单请求)一次拉一个人,公交车(批量)一次拉几十人,人均成本低多了。
⚠️ 初学者常见错误:
-
批量越大越好 —— 太大反而变慢,通常 32-64 最优
-
只看吞吐量 —— 批量太大会增加延迟
-
静态批处理就够了 —— 连续批处理好太多
🎯 小练习 / 项目: 写一个简单脚本,分别用 batch size=1, 4, 8, 16, 32 跑推理,记录每个 batch 的时间和吞吐量,画个曲线找最优值。
GPU basics(GPU 基础)
什么是 GPU?
GPU = Graphics Processing Unit,图形处理器,现在是 AI 训练和推理的核心硬件。
GPU vs CPU:
-
CPU:几个强大的核心,擅长复杂逻辑,串行计算
-
GPU:几千个弱小的核心,擅长简单重复,并行计算
AI 常用 GPU:
-
消费级:RTX 3090/4090(24GB)
-
数据中心:A100(40/80GB)、H100(80GB)
-
性价比:RTX 4090 > A100 > H100
关键指标:
-
显存大小(最重要)
-
显存带宽
-
TFLOPS(算力)
✅ 简短总结:GPU 通过数千个核心的大规模并行计算能力,成为 AI 训练和推理的核心硬件,显存大小是选择 GPU 的第一指标。
🧠 简单思维模型:CPU 是一个数学教授,算难题很快;GPU 是10000 个小学生,每人算一道简单题,10000 道题一起算完比教授快多了。
⚠️ 初学者常见错误:
-
只看算力不看显存 —— 显存不够再强也没用
-
消费级卡不能做训练 ——4090 训练 7B 模型很好用
-
越贵的卡性价比越高 ——4090 是性价比之王
🎯 小练习 / 项目: 做一个 GPU 对比表,列出 RTX 3090、4090、A10、A100、H100 的:显存、显存带宽、FP16 算力、价格、每 GB 显存成本。
VRAM basics(显存基础)
什么是 VRAM?
VRAM = Video RAM,显卡专用内存,是 GPU 能同时放多少数据的决定因素。
模型显存占用估算:
-
FP16:参数 × 2 字节 = 模型大小
-
7B 模型:14GB
-
13B 模型:26GB
-
70B 模型:140GB
-
-
4bit 量化:参数 × 0.5 字节
-
7B 模型:3.5GB
-
13B 模型:6.5GB
-
70B 模型:35GB
-
显存还用来放什么:
-
模型权重
-
KV Cache
-
中间激活值
-
优化器状态(训练时)
✅ 简短总结:VRAM 是 GPU 的专用内存,决定了能运行多大的模型,模型大小 = 参数量 × 每个参数字节数,量化可以大幅减少显存需求。
🧠 简单思维模型:VRAM 就像工作台大小,工作台越大,能同时放的材料(模型参数、中间结果)越多,能做的活越复杂。
⚠️ 初学者常见错误:
-
只算模型大小 ——KV Cache 和激活值也要占显存
-
24GB 刚好放 13B FP16—— 实际需要留余量
-
显存占满才好 —— 留 10-20% 余量更稳定
🎯 小练习 / 项目: 用 nvidia-smi 监控,分别加载 7B 模型的 FP16、8bit、4bit 版本,记录每个的显存占用,和理论值对比。
Latency vs quality tradeoffs(延迟与质量权衡)
什么是权衡?
AI 推理中,速度和质量通常是矛盾的,要根据场景做取舍。
常见的权衡点:
| 技术 | 质量影响 | 速度提升 | 适用场景 |
|---|---|---|---|
| 4bit 量化 | 极小 | 2x | 几乎所有场景 |
| 8bit 量化 | 几乎无 | 1.5x | 所有场景 |
| 投机解码 | 无 | 2-3x | 所有场景 |
| 更小的模型 | 有损失 | 5-10x | 简单任务 |
| 减少 beam search | 略有损失 | 2x | 聊天场景 |
| 降低上下文 | 可能损失 | 显著 | 短对话 |
怎么选?
-
聊天机器人:延迟优先,用户等不及
-
写作 / 总结:质量优先,慢一点没关系
-
批量处理:吞吐量优先
✅ 简短总结:推理中速度和质量通常需要权衡,不同场景优先级不同,聊天要快,复杂任务要质量,批量处理要吞吐量。
🧠 简单思维模型:延迟质量权衡就像做饭,快餐(快但一般)、家常菜(平衡)、米其林(慢但好吃),不同客人需求不同。
⚠️ 初学者常见错误:
-
什么都要最好 —— 又快又好又便宜不可能
-
所有场景用同一个配置 —— 要分场景优化
-
只看 benchmark—— 真实用户体验最重要
🎯 小练习 / 项目: 为三个场景设计优化方案:1)客服聊天机器人;2)文档总结工具;3)离线批量数据处理,分别说明你会选择什么模型、什么量化、什么优化技术。
Local AI Ecosystem(本地 AI 生态)
llama.cpp
什么是 llama.cpp?
llama.cpp 是一个纯 C/C++ 实现的 LLM 推理引擎,由 Georgi Gerganov 开发,开启了本地 AI 革命。
核心特点:
-
纯 C 实现:无依赖,到处能跑
-
量化支持:GGUF 格式,2bit-16bit
-
跨平台:Windows/Mac/Linux/ 手机 / 浏览器
-
CPU 优先:没有 GPU 也能跑
-
极快:手工优化的 SIMD 代码
为什么重要?
-
第一个让普通人能在自己电脑跑大模型的项目
-
整个本地 AI 生态的基础
-
Ollama、LM Studio 都是基于它
✅ 简短总结:llama.cpp 是纯 C 实现的轻量级 LLM 推理引擎,跨平台、支持 CPU、速度极快,是整个本地运行大模型生态的基石。
🧠 简单思维模型:llama.cpp 就像汽车的发动机,Ollama、LM Studio 这些是车的外壳和内饰,核心发动机都是 llama.cpp。
⚠️ 初学者常见错误:
-
只支持 LLaMA—— 现在支持所有主流模型
-
CPU 很慢 —— 苹果硅上 CPU 推理很快
-
不支持 GPU—— 现在支持 CUDA/Metal/ROCm
🎯 小练习 / 项目: 去github.com/ggerganov/llama.cpp下载,编译,然后跑一个 7B Q4 模型,体验一下纯 CPU 跑大模型。
Ollama
什么是 Ollama?
Ollama 是最流行的本地运行大模型工具,把 llama.cpp 包装得非常易用,一键下载运行。
核心功能:
-
一键安装:一条命令安装
-
模型库:
ollama run llama2自动下载运行 -
OpenAI 兼容 API:直接替换 OpenAI 接口
-
多模型管理:本地管理多个模型
-
支持 LoRA:动态加载 LoRA
常用命令:
ollama run llama2 # 运行Llama 2
ollama run mistral # 运行Mistral
ollama list # 列出本地模型
ollama pull qwen:7b # 下载模型
✅ 简短总结:Ollama 将复杂的本地大模型运行简化到一条命令,自带模型库和 API 接口,是普通用户体验本地 AI 的首选工具。
🧠 简单思维模型:Ollama 就像手机的应用商店,搜一下,点一下,APP(模型)就装好了直接用,不用管编译、依赖这些技术细节。
⚠️ 初学者常见错误:
-
Ollama 只能跑小模型 —— 现在支持 70B 甚至更大
-
只能命令行用 —— 有很多 GUI 前端
-
性能比原生 llama.cpp 差 —— 几乎没差别
🎯 小练习 / 项目: 安装 Ollama,然后依次运行 llama2、mistral、qwen 三个模型,和它们对话,体验不同模型的特点,然后用 curl 调用它的 API。
vLLM
什么是 vLLM?
vLLM 是 UC Berkeley 开发的高性能 LLM 推理和服务引擎,是现在性能最好的开源服务框架。
核心技术:
-
PagedAttention:像操作系统虚拟内存一样管理 KV Cache
-
连续批处理:不用等,动态加入请求
-
极致优化:比 transformers 快 10-20 倍
-
OpenAI 兼容 API:直接替换
性能对比:
-
transformers:1x
-
TGI:3-5x
-
vLLM:10-20x
✅ 简短总结:vLLM 通过 PagedAttention 和连续批处理等创新,提供了目前最快的 LLM 推理和服务性能,是生产部署的首选。
🧠 简单思维模型:vLLM 就像高铁,transformers 是绿皮火车,TGI 是动车,vLLM 是又快又稳载客量又大的高铁。
⚠️ 初学者常见错误:
-
只适合大部署 —— 个人用也比 transformers 快很多
-
只支持 NVIDIA—— 现在也支持 AMD 和苹果硅
-
部署很复杂 —— 一条命令就启动了
🎯 小练习 / 项目: 用 pip 安装 vLLM,启动一个 OpenAI 兼容的 API 服务,然后用同样的请求分别调用 vLLM 和原生 transformers,对比 tokens/s 速度。
MLX
什么是 MLX?
MLX 是苹果公司推出的苹果硅芯片专用的机器学习框架,专为 M 系列芯片优化。
核心优势:
-
统一内存:CPU/GPU 共享内存,不用拷贝
-
苹果硅优化:充分利用 Neon、Metal
-
原生支持:M1/M2/M3 都能发挥最大性能
-
简单易用:API 类似 NumPy/PyTorch
能做什么:
-
快速推理 LLM
-
本地微调(QLoRA)
-
训练小模型
-
M2 Ultra 能跑 70B 模型!
✅ 简短总结:MLX 是苹果专为 M 系列芯片优化的机器学习框架,充分利用苹果硅的统一内存架构,在 Mac 上跑大模型速度远超其他框架。
🧠 简单思维模型:MLX 就像苹果芯片的专属司机,最懂这辆车的性能,能开出最快最稳的速度,其他通用司机(PyTorch)做不到。
⚠️ 初学者常见错误:
-
所有 Mac 都一样 —— 芯片越强差别越大
-
和 PyTorch 速度差不多 ——MLX 快 2-3 倍
-
只能推理 —— 也能训练和微调
🎯 小练习 / 项目: 如果你有 Mac,安装 mlx-examples,跑一个 Llama 7B 模型,对比 Ollama 的速度,感受苹果硅的威力。
Hugging Face
什么是 Hugging Face?
Hugging Face 是 AI 界的 GitHub,最大的模型和数据集社区,也是最重要的开源 AI 基础设施。
核心产品:
-
Hub:模型仓库,几十万个模型
-
Transformers:最流行的模型库
-
Datasets:数据集库
-
Accelerate:分布式训练
-
PEFT:参数高效微调
-
TRL:强化学习 / 对齐
为什么重要?
-
几乎所有开源模型都上传到 Hugging Face
-
所有 AI 开发者都用它的工具
-
整个开源 AI 生态的中心
✅ 简短总结:Hugging Face 是开源 AI 的中心枢纽,提供模型仓库、模型库、数据集等核心工具,是每个 AI 开发者的必备工具。
🧠 简单思维模型:Hugging Face 就像AI 界的淘宝,模型是商品,大家都在上面开店卖货(上传模型),买家(开发者)在上面挑货,还有各种配套工具。
⚠️ 初学者常见错误:
-
只是模型下载站 —— 工具生态才是核心
-
模型都能用 —— 很多模型质量很差
-
只能用它的库 —— 也可以直接下载权重
🎯 小练习 / 项目: 注册 Hugging Face 账号,浏览 Models 页面,按下载量排序,看看最流行的模型都是哪些,然后用 transformers 库加载其中一个。
Unsloth
什么是 Unsloth?
Unsloth 是一个专注于微调速度优化的库,能让 LoRA 微调速度提升 2-5 倍,显存减少一半。
核心优化:
-
手工优化的内核:每个算子都手动优化
-
降精度优化:聪明的混合精度
-
减少冗余计算:去掉不必要的计算
-
支持所有主流模型:Llama、Mistral、Qwen 等
效果:
-
微调 7B 模型:RTX 3090 上 1 小时搞定
-
微调 13B 模型:24GB 显存足够
-
零质量损失
✅ 简短总结:Unsloth 通过高度优化的内核,让 LoRA 微调速度提升数倍、显存减半,是现在个人用户微调大模型的首选工具。
🧠 简单思维模型:Unsloth 就像给汽车刷 ECU,发动机还是那个发动机,但优化后马力大增,油耗还降低了,不用换硬件。
⚠️ 初学者常见错误:
-
只有微调快 —— 推理也优化了
-
会损失质量 —— 官方证明和原生 LoRA 完全一致
-
只支持少数模型 —— 现在支持所有主流开源模型
🎯 小练习 / 项目: 用 Unsloth 和用原生 peft 分别微调同一个模型,记录训练时间和显存占用,对比速度差异。
Axolotl
什么是 Axolotl?
Axolotl 是一个一站式微调工具,把各种微调技术(LoRA、QLoRA、全参数)包装成配置文件驱动的工具。
核心特点:
-
配置驱动:写个 yaml 配置就开始微调
-
支持所有方法:LoRA、QLoRA、全参数
-
支持所有模型:几乎所有开源模型
-
最佳实践:内置各种优化和最佳实践
-
多卡训练:开箱即用分布式训练
简单示例:
base_model: mistralai/Mistral-7B-v0.1
load_in_4bit: true
adapter: lora
lora_r: 8
lora_alpha: 16
datasets:
- path: my_dataset.jsonl
✅ 简短总结:Axolotl 是一站式微调框架,通过配置文件统一各种微调方法,内置最佳实践,不用写代码就能专业地微调模型。
🧠 简单思维模型:Axolotl 就像单反相机的自动模式,专业摄影师(专家)调好所有参数,你只要按快门就行,不用懂每个参数怎么设。
⚠️ 初学者常见错误:
-
太复杂不适合新手 —— 反而比自己写代码简单
-
只能微调 —— 也能做继续预训练
-
性能不如手写 —— 内置的优化比大部分人写得好
🎯 小练习 / 项目: 安装 Axolotl,找一个示例配置文件,修改成你自己的数据集,跑一个微调,对比自己写代码的体验。
PEFT
什么是 PEFT?
PEFT = Parameter-Efficient Fine-Tuning,Hugging Face 官方的参数高效微调库。
支持的方法:
-
LoRA:最常用
-
AdaLoRA:自适应 LoRA
-
IA3:Infused Adapter
-
Prefix Tuning:前缀微调
-
Prompt Tuning:提示微调
优点:
-
官方维护,质量有保证
-
和 transformers 无缝集成
-
支持所有模型
-
文档完善
✅ 简短总结:PEFT 是 Hugging Face 官方的参数高效微调库,统一了 LoRA 等各种高效微调方法,和 transformers 无缝集成,是微调的标准工具。
🧠 简单思维模型:PEFT 就像万能转接头,不管什么模型(手机),都能用这个转接头接上各种适配器(LoRA 等),不用改原模型。
⚠️ 初学者常见错误:
-
只有 LoRA—— 还有很多其他方法
-
只能 transformers 用 —— 也能给其他库用
-
速度最快 ——Unsloth 优化版更快
🎯 小练习 / 项目: 用 PEFT 写一个最简单的 LoRA 微调脚本,10 行代码以内,理解 PEFT 的基本用法。
TRL library
什么是 TRL?
TRL = Transformer Reinforcement Learning,Hugging Face 官方的强化学习和对齐库。
支持的方法:
-
SFT:监督微调
-
Reward Modeling:奖励模型训练
-
PPO:近端策略优化
-
DPO:直接偏好优化
-
KTO:新知识对齐
为什么用 TRL?
-
官方实现,正确可靠
-
各种对齐方法的标准实现
-
和 PEFT、transformers 集成
-
不用自己从头写 DPO
✅ 简短总结:TRL 是 Hugging Face 官方的模型对齐库,提供 SFT、DPO、PPO 等各种对齐方法的标准实现,是做模型对齐的首选。
🧠 简单思维模型:TRL 就像驾校的标准课程,SFT 是科目一,DPO 是科目二科目三,按标准流程学,就能拿到驾照(对齐好的模型)。
⚠️ 初学者常见错误:
-
只能做 RL—— 现在 DPO 才是主力
-
很难用 —— 封装得很好,简单易用
-
只有 RLHF—— 支持各种新的对齐方法
🎯 小练习 / 项目: 用 TRL 的 DPOTrainer,跑一个最简单的 DPO 例子,理解偏好数据格式和训练流程。
📚 目录
-
[Foundations(基础)](#foundations基础)
-
[Datasets & Training(数据集与训练)](#datasets--training数据集与训练)
-
[Fine-Tuning(微调)](#fine-tuning微调)
-
[Inference & Optimization(推理与优化)](#inference--optimization推理与优化)
-
[Local AI Ecosystem(本地 AI 生态)](#local-ai-ecosystem本地ai生态)
-
[RAG & Memory(检索增强与记忆)](#rag--memory检索增强与记忆)
-
[Agents & Workflows(智能体与工作流)](#agents--workflows智能体与工作流)
-
[Model Types(模型类型)](#model-types模型类型)
-
[Deployment(部署)](#deployment部署)
-
[Evaluation(评估)](#evaluation评估)
-
[Real-World Skills(实战技能)](#real-world-skills实战技能)
Inference & Optimization(推理与优化)
KV cache
什么是 KV Cache?
KV Cache 是 Key-Value 缓存,是加速大模型推理的最重要技术之一,避免重复计算。
工作原理:
-
Transformer 每层都要计算 Attention 的 K(键)和 V(值)
-
生成第 1 个词:计算所有 token 的 K,V
-
生成第 2 个词:不用重新算前面的,只算新 token 的 K,V,缓存的直接用
-
以此类推...
效果:
-
速度提升 2-3 倍
-
显存占用稍微增加
-
生成越长,加速越明显
✅ 简短总结:KV Cache 缓存 Attention 计算中的 Key 和 Value,避免生成每个 token 时都重新计算所有前面的 token,是推理加速的基础技术。
🧠 简单思维模型:KV Cache 就像做数学题记中间结果,算第二步时不用从头算第一步,直接用第一步算好的结果,大大加快速度。
⚠️ 初学者常见错误:
-
以为 KV Cache 免费 —— 会增加一些显存占用
-
所有场景都开 KV Cache—— 极短的生成反而可能变慢
-
不理解 Cache 的序列限制 —— 超过窗口需要重建缓存
🎯 小练习 / 项目: 运行同一个模型,分别开启和关闭 KV Cache,生成长文本(比如 1000 字),对比两者的生成速度差异。
Flash Attention
什么是 Flash Attention?
Flash Attention 是斯坦福大学提出的 Attention 加速算法,通过优化计算顺序和内存访问,大幅提升速度并降低显存。
核心优化:
-
Tiling(分块计算):把大矩阵分成小块,一块块算
-
重计算:不用存所有中间结果,需要时重新算
-
IO 感知:优化 GPU SRAM 和 HBM 之间的数据传输
效果:
-
速度提升 2-4 倍
-
显存减少 50-80%
-
长序列效果尤其明显
✅ 简短总结:Flash Attention 通过优化 Attention 的计算方式和内存访问模式,在不损失精度的前提下大幅提升速度、降低显存,是现在所有大模型的标配。
🧠 简单思维模型:Flash Attention 就像整理书桌,原来把所有书都摊在桌上(占满内存),现在把书分堆,只把正在看的那堆拿出来,既快又省空间。
⚠️ 初学者常见错误:
-
Flash Attention 只加速 —— 其实主要是省显存
-
所有硬件都支持 —— 需要 Ampere 及以上架构
-
一定比普通 Attention 快 —— 极短序列可能差不多
🎯 小练习 / 项目: 分别用普通 Attention 和 Flash Attention 跑一个长序列(4096 tokens),对比显存占用和计算时间。
Speculative decoding(投机解码)
什么是投机解码?
投机解码用一个小模型 "猜" 接下来的 N 个词,然后大模型一次性验证,猜对了就跳过,猜错了再修正。
工作流程:
-
小模型(草稿模型)快速生成 k 个候选词
-
大模型(目标模型)并行验证这 k 个词
-
猜对的都保留,猜错的从那里重新开始
-
平均每次能生成 2-3 个词
效果:
-
速度提升 2-3 倍
-
输出完全和原模型一样(无质量损失)
-
不需要重新训练
✅ 简短总结:投机解码用小模型快速 "猜" 多个词,大模型一次性验证,在不损失质量的前提下大幅提升生成速度,是推理加速的黑科技。
🧠 简单思维模型:投机解码就像学霸帮学渣检查作业,学渣(小模型)快速写完几道题,学霸(大模型)一眼检查完,对的就过,错的改,比学霸一道一道做快多了。
⚠️ 初学者常见错误:
-
会改变输出质量 —— 数学证明和原模型分布完全一致
-
随便什么小模型都行 —— 需要和大模型分布接近
-
加速比无上限 —— 通常 2-3 倍是极限
🎯 小练习 / 项目: 用 llama.cpp 开启投机解码,用 7B 模型做草稿模型验证 13B 模型,对比普通解码的 tokens / 秒速度。
Inference optimization(推理优化)
什么是推理优化?
推理优化是各种让模型跑更快、用更少显存、支持更多并发用户的技术总称。
主要优化方向:
-
算法层面:KV Cache、Flash Attention、投机解码
-
量化:4bit/8bit 量化
-
编译优化:vLLM、TensorRT-LLM
-
批处理:把多个请求合并处理
-
连续批处理:动态加入新请求
优化目标:
-
延迟:单个用户的响应速度
-
吞吐量:每秒能处理的 token 数
-
成本:每 1000token 多少钱
✅ 简短总结:推理优化包含算法、量化、编译、批处理等多种技术,目标是降低延迟、提高吞吐量、降低成本,是 AI 产品落地的关键。
🧠 简单思维模型:推理优化就像开餐厅优化翻台率,通过各种方法让同样大的店(GPU)能接待更多客人(用户),上菜更快(延迟低)。
⚠️ 初学者常见错误:
-
只优化速度 —— 吞吐量和成本同样重要
-
优化过度影响质量 —— 要在质量和速度间平衡
-
一种优化就够了 —— 通常需要多种技术组合
🎯 小练习 / 项目: 列出你能想到的所有推理优化技术,给每个技术打分:速度提升多少、显存节省多少、质量损失多少、实现难度多少。
Model serving(模型服务)
什么是模型服务?
模型服务是把训练好的模型包装成 API,让用户通过网络调用,是大模型商业化的核心。
模型服务做什么:
-
API 接口:HTTP/gRPC 接口
-
批处理调度:智能合并请求
-
负载均衡:多 GPU / 多机器分配
-
限流监控:QPS 限制、日志监控
-
弹性伸缩:自动扩缩容
常用框架:
-
vLLM:开源,性能好
-
Text Generation Inference (TGI):Hugging Face
-
TensorRT-LLM:NVIDIA
-
vLLM > TGI > 原生 transformers
✅ 简短总结:模型服务将训练好的模型包装成可网络调用的 API,处理批处理、负载均衡、监控等工程问题,是大模型从 demo 到产品的关键一步。
🧠 简单思维模型:模型服务就像外卖平台,厨师(模型)在厨房做饭,平台接订单、调度、送餐、收钱,用户不用去厨房直接点餐就行。
⚠️ 初学者常见错误:
-
直接用 transformers 做服务 —— 性能差 10 倍以上
-
不做批处理 ——GPU 利用率极低
-
忽略监控 —— 出问题不知道
🎯 小练习 / 项目: 用 vLLM 启动一个模型服务,然后用 ab 或 wrk 做压力测试,看每秒能处理多少请求,GPU 利用率是多少。
Batch inference(批量推理)
什么是批量推理?
批量推理是把多个请求放在一起同时处理,利用 GPU 的并行计算能力,大大提高效率。
为什么批量处理更快?
-
GPU 是并行计算,算 1 个和算 8 个时间差不多
-
单独处理:8 个请求 = 8 × 时间
-
批量处理:8 个请求 ≈ 1 × 时间
两种批处理:
-
静态批处理:攒够 N 个请求一起处理
-
连续批处理(Continuous Batching):不用等,处理完一个就补一个新的
✅ 简短总结:批量推理将多个请求合并同时处理,充分利用 GPU 并行能力,大幅提高吞吐量、降低单 token 成本,是高并发服务的必备。
🧠 简单思维模型:批量推理就像公交车 vs 出租车,出租车(单请求)一次拉一个人,公交车(批量)一次拉几十人,人均成本低多了。
⚠️ 初学者常见错误:
-
批量越大越好 —— 太大反而变慢,通常 32-64 最优
-
只看吞吐量 —— 批量太大会增加延迟
-
静态批处理就够了 —— 连续批处理好太多
🎯 小练习 / 项目: 写一个简单脚本,分别用 batch size=1, 4, 8, 16, 32 跑推理,记录每个 batch 的时间和吞吐量,画个曲线找最优值。
GPU basics(GPU 基础)
什么是 GPU?
GPU = Graphics Processing Unit,图形处理器,现在是 AI 训练和推理的核心硬件。
GPU vs CPU:
-
CPU:几个强大的核心,擅长复杂逻辑,串行计算
-
GPU:几千个弱小的核心,擅长简单重复,并行计算
AI 常用 GPU:
-
消费级:RTX 3090/4090(24GB)
-
数据中心:A100(40/80GB)、H100(80GB)
-
性价比:RTX 4090 > A100 > H100
关键指标:
-
显存大小(最重要)
-
显存带宽
-
TFLOPS(算力)
✅ 简短总结:GPU 通过数千个核心的大规模并行计算能力,成为 AI 训练和推理的核心硬件,显存大小是选择 GPU 的第一指标。
🧠 简单思维模型:CPU 是一个数学教授,算难题很快;GPU 是10000 个小学生,每人算一道简单题,10000 道题一起算完比教授快多了。
⚠️ 初学者常见错误:
-
只看算力不看显存 —— 显存不够再强也没用
-
消费级卡不能做训练 ——4090 训练 7B 模型很好用
-
越贵的卡性价比越高 ——4090 是性价比之王
🎯 小练习 / 项目: 做一个 GPU 对比表,列出 RTX 3090、4090、A10、A100、H100 的:显存、显存带宽、FP16 算力、价格、每 GB 显存成本。
VRAM basics(显存基础)
什么是 VRAM?
VRAM = Video RAM,显卡专用内存,是 GPU 能同时放多少数据的决定因素。
模型显存占用估算:
-
FP16:参数 × 2 字节 = 模型大小
-
7B 模型:14GB
-
13B 模型:26GB
-
70B 模型:140GB
-
-
4bit 量化:参数 × 0.5 字节
-
7B 模型:3.5GB
-
13B 模型:6.5GB
-
70B 模型:35GB
-
显存还用来放什么:
-
模型权重
-
KV Cache
-
中间激活值
-
优化器状态(训练时)
✅ 简短总结:VRAM 是 GPU 的专用内存,决定了能运行多大的模型,模型大小 = 参数量 × 每个参数字节数,量化可以大幅减少显存需求。
🧠 简单思维模型:VRAM 就像工作台大小,工作台越大,能同时放的材料(模型参数、中间结果)越多,能做的活越复杂。
⚠️ 初学者常见错误:
-
只算模型大小 ——KV Cache 和激活值也要占显存
-
24GB 刚好放 13B FP16—— 实际需要留余量
-
显存占满才好 —— 留 10-20% 余量更稳定
🎯 小练习 / 项目: 用 nvidia-smi 监控,分别加载 7B 模型的 FP16、8bit、4bit 版本,记录每个的显存占用,和理论值对比。
Latency vs quality tradeoffs(延迟与质量权衡)
什么是权衡?
AI 推理中,速度和质量通常是矛盾的,要根据场景做取舍。
常见的权衡点:
| 技术 | 质量影响 | 速度提升 | 适用场景 |
|---|---|---|---|
| 4bit 量化 | 极小 | 2x | 几乎所有场景 |
| 8bit 量化 | 几乎无 | 1.5x | 所有场景 |
| 投机解码 | 无 | 2-3x | 所有场景 |
| 更小的模型 | 有损失 | 5-10x | 简单任务 |
| 减少 beam search | 略有损失 | 2x | 聊天场景 |
| 降低上下文 | 可能损失 | 显著 | 短对话 |
怎么选?
-
聊天机器人:延迟优先,用户等不及
-
写作 / 总结:质量优先,慢一点没关系
-
批量处理:吞吐量优先
✅ 简短总结:推理中速度和质量通常需要权衡,不同场景优先级不同,聊天要快,复杂任务要质量,批量处理要吞吐量。
🧠 简单思维模型:延迟质量权衡就像做饭,快餐(快但一般)、家常菜(平衡)、米其林(慢但好吃),不同客人需求不同。
⚠️ 初学者常见错误:
-
什么都要最好 —— 又快又好又便宜不可能
-
所有场景用同一个配置 —— 要分场景优化
-
只看 benchmark—— 真实用户体验最重要
🎯 小练习 / 项目: 为三个场景设计优化方案:1)客服聊天机器人;2)文档总结工具;3)离线批量数据处理,分别说明你会选择什么模型、什么量化、什么优化技术。
Local AI Ecosystem(本地 AI 生态)
llama.cpp
什么是 llama.cpp?
llama.cpp 是一个纯 C/C++ 实现的 LLM 推理引擎,由 Georgi Gerganov 开发,开启了本地 AI 革命。
核心特点:
-
纯 C 实现:无依赖,到处能跑
-
量化支持:GGUF 格式,2bit-16bit
-
跨平台:Windows/Mac/Linux/ 手机 / 浏览器
-
CPU 优先:没有 GPU 也能跑
-
极快:手工优化的 SIMD 代码
为什么重要?
-
第一个让普通人能在自己电脑跑大模型的项目
-
整个本地 AI 生态的基础
-
Ollama、LM Studio 都是基于它
✅ 简短总结:llama.cpp 是纯 C 实现的轻量级 LLM 推理引擎,跨平台、支持 CPU、速度极快,是整个本地运行大模型生态的基石。
🧠 简单思维模型:llama.cpp 就像汽车的发动机,Ollama、LM Studio 这些是车的外壳和内饰,核心发动机都是 llama.cpp。
⚠️ 初学者常见错误:
-
只支持 LLaMA—— 现在支持所有主流模型
-
CPU 很慢 —— 苹果硅上 CPU 推理很快
-
不支持 GPU—— 现在支持 CUDA/Metal/ROCm
🎯 小练习 / 项目: 去github.com/ggerganov/llama.cpp下载,编译,然后跑一个 7B Q4 模型,体验一下纯 CPU 跑大模型。
Ollama
什么是 Ollama?
Ollama 是最流行的本地运行大模型工具,把 llama.cpp 包装得非常易用,一键下载运行。
核心功能:
-
一键安装:一条命令安装
-
模型库:
ollama run llama2自动下载运行 -
OpenAI 兼容 API:直接替换 OpenAI 接口
-
多模型管理:本地管理多个模型
-
支持 LoRA:动态加载 LoRA
常用命令:
ollama run llama2 # 运行Llama 2
ollama run mistral # 运行Mistral
ollama list # 列出本地模型
ollama pull qwen:7b # 下载模型
✅ 简短总结:Ollama 将复杂的本地大模型运行简化到一条命令,自带模型库和 API 接口,是普通用户体验本地 AI 的首选工具。
🧠 简单思维模型:Ollama 就像手机的应用商店,搜一下,点一下,APP(模型)就装好了直接用,不用管编译、依赖这些技术细节。
⚠️ 初学者常见错误:
-
Ollama 只能跑小模型 —— 现在支持 70B 甚至更大
-
只能命令行用 —— 有很多 GUI 前端
-
性能比原生 llama.cpp 差 —— 几乎没差别
🎯 小练习 / 项目: 安装 Ollama,然后依次运行 llama2、mistral、qwen 三个模型,和它们对话,体验不同模型的特点,然后用 curl 调用它的 API。
vLLM
什么是 vLLM?
vLLM 是 UC Berkeley 开发的高性能 LLM 推理和服务引擎,是现在性能最好的开源服务框架。
核心技术:
-
PagedAttention:像操作系统虚拟内存一样管理 KV Cache
-
连续批处理:不用等,动态加入请求
-
极致优化:比 transformers 快 10-20 倍
-
OpenAI 兼容 API:直接替换
性能对比:
-
transformers:1x
-
TGI:3-5x
-
vLLM:10-20x
✅ 简短总结:vLLM 通过 PagedAttention 和连续批处理等创新,提供了目前最快的 LLM 推理和服务性能,是生产部署的首选。
🧠 简单思维模型:vLLM 就像高铁,transformers 是绿皮火车,TGI 是动车,vLLM 是又快又稳载客量又大的高铁。
⚠️ 初学者常见错误:
-
只适合大部署 —— 个人用也比 transformers 快很多
-
只支持 NVIDIA—— 现在也支持 AMD 和苹果硅
-
部署很复杂 —— 一条命令就启动了
🎯 小练习 / 项目: 用 pip 安装 vLLM,启动一个 OpenAI 兼容的 API 服务,然后用同样的请求分别调用 vLLM 和原生 transformers,对比 tokens/s 速度。
MLX
什么是 MLX?
MLX 是苹果公司推出的苹果硅芯片专用的机器学习框架,专为 M 系列芯片优化。
核心优势:
-
统一内存:CPU/GPU 共享内存,不用拷贝
-
苹果硅优化:充分利用 Neon、Metal
-
原生支持:M1/M2/M3 都能发挥最大性能
-
简单易用:API 类似 NumPy/PyTorch
能做什么:
-
快速推理 LLM
-
本地微调(QLoRA)
-
训练小模型
-
M2 Ultra 能跑 70B 模型!
✅ 简短总结:MLX 是苹果专为 M 系列芯片优化的机器学习框架,充分利用苹果硅的统一内存架构,在 Mac 上跑大模型速度远超其他框架。
🧠 简单思维模型:MLX 就像苹果芯片的专属司机,最懂这辆车的性能,能开出最快最稳的速度,其他通用司机(PyTorch)做不到。
⚠️ 初学者常见错误:
-
所有 Mac 都一样 —— 芯片越强差别越大
-
和 PyTorch 速度差不多 ——MLX 快 2-3 倍
-
只能推理 —— 也能训练和微调
🎯 小练习 / 项目: 如果你有 Mac,安装 mlx-examples,跑一个 Llama 7B 模型,对比 Ollama 的速度,感受苹果硅的威力。
Hugging Face
什么是 Hugging Face?
Hugging Face 是 AI 界的 GitHub,最大的模型和数据集社区,也是最重要的开源 AI 基础设施。
核心产品:
-
Hub:模型仓库,几十万个模型
-
Transformers:最流行的模型库
-
Datasets:数据集库
-
Accelerate:分布式训练
-
PEFT:参
(注:文档部分内容可能由 AI 生成)