Files
Obsidian/MyArticles/AI术语完全指南:从入门到进阶.md
2026-07-21 14:53:24 +08:00

42 KiB
Raw Permalink Blame History

AI术语完全指南:从入门到进阶

一份系统化的 AI 技术术语解释手册,从基础概念到高级应用,循序渐进,通俗易懂。

Inference & Optimization(推理与优化)

KV cache

什么是 KV Cache?

KV Cache 是 Key-Value 缓存,是加速大模型推理的最重要技术之一,避免重复计算。

工作原理:

  • Transformer 每层都要计算 Attention 的 K(键)和 V(值)

  • 生成第 1 个词:计算所有 token 的 K,V

  • 生成第 2 个词:不用重新算前面的,只算新 token 的 K,V,缓存的直接用

  • 以此类推...

效果:

  • 速度提升 2-3 倍

  • 显存占用稍微增加

  • 生成越长,加速越明显

✅ 简短总结:KV Cache 缓存 Attention 计算中的 Key 和 Value,避免生成每个 token 时都重新计算所有前面的 token,是推理加速的基础技术。

🧠 简单思维模型:KV Cache 就像做数学题记中间结果,算第二步时不用从头算第一步,直接用第一步算好的结果,大大加快速度。

⚠️ 初学者常见错误:

  1. 以为 KV Cache 免费 —— 会增加一些显存占用

  2. 所有场景都开 KV Cache—— 极短的生成反而可能变慢

  3. 不理解 Cache 的序列限制 —— 超过窗口需要重建缓存

🎯 小练习 / 项目: 运行同一个模型,分别开启和关闭 KV Cache,生成长文本(比如 1000 字),对比两者的生成速度差异。


Flash Attention

什么是 Flash Attention?

Flash Attention 是斯坦福大学提出的 Attention 加速算法,通过优化计算顺序和内存访问,大幅提升速度并降低显存。

核心优化:

  1. Tiling(分块计算):把大矩阵分成小块,一块块算

  2. 重计算:不用存所有中间结果,需要时重新算

  3. IO 感知:优化 GPU SRAM 和 HBM 之间的数据传输

效果:

  • 速度提升 2-4 倍

  • 显存减少 50-80%

  • 长序列效果尤其明显

✅ 简短总结:Flash Attention 通过优化 Attention 的计算方式和内存访问模式,在不损失精度的前提下大幅提升速度、降低显存,是现在所有大模型的标配。

🧠 简单思维模型:Flash Attention 就像整理书桌,原来把所有书都摊在桌上(占满内存),现在把书分堆,只把正在看的那堆拿出来,既快又省空间。

⚠️ 初学者常见错误:

  1. Flash Attention 只加速 —— 其实主要是省显存

  2. 所有硬件都支持 —— 需要 Ampere 及以上架构

  3. 一定比普通 Attention 快 —— 极短序列可能差不多

🎯 小练习 / 项目: 分别用普通 Attention 和 Flash Attention 跑一个长序列(4096 tokens),对比显存占用和计算时间。


Speculative decoding(投机解码)

什么是投机解码?

投机解码用一个小模型 "猜" 接下来的 N 个词,然后大模型一次性验证,猜对了就跳过,猜错了再修正。

工作流程:

  1. 小模型(草稿模型)快速生成 k 个候选词

  2. 大模型(目标模型)并行验证这 k 个词

  3. 猜对的都保留,猜错的从那里重新开始

  4. 平均每次能生成 2-3 个词

效果:

  • 速度提升 2-3 倍

  • 输出完全和原模型一样(无质量损失)

  • 不需要重新训练

✅ 简短总结:投机解码用小模型快速 "猜" 多个词,大模型一次性验证,在不损失质量的前提下大幅提升生成速度,是推理加速的黑科技。

🧠 简单思维模型:投机解码就像学霸帮学渣检查作业,学渣(小模型)快速写完几道题,学霸(大模型)一眼检查完,对的就过,错的改,比学霸一道一道做快多了。

⚠️ 初学者常见错误:

  1. 会改变输出质量 —— 数学证明和原模型分布完全一致

  2. 随便什么小模型都行 —— 需要和大模型分布接近

  3. 加速比无上限 —— 通常 2-3 倍是极限

🎯 小练习 / 项目: 用 llama.cpp 开启投机解码,用 7B 模型做草稿模型验证 13B 模型,对比普通解码的 tokens / 秒速度。


Inference optimization(推理优化)

什么是推理优化?

推理优化是各种让模型跑更快、用更少显存、支持更多并发用户的技术总称。

主要优化方向:

  1. 算法层面:KV Cache、Flash Attention、投机解码

  2. 量化:4bit/8bit 量化

  3. 编译优化:vLLM、TensorRT-LLM

  4. 批处理:把多个请求合并处理

  5. 连续批处理:动态加入新请求

优化目标:

  • 延迟:单个用户的响应速度

  • 吞吐量:每秒能处理的 token 数

  • 成本:每 1000token 多少钱

✅ 简短总结:推理优化包含算法、量化、编译、批处理等多种技术,目标是降低延迟、提高吞吐量、降低成本,是 AI 产品落地的关键。

🧠 简单思维模型:推理优化就像开餐厅优化翻台率,通过各种方法让同样大的店(GPU)能接待更多客人(用户),上菜更快(延迟低)。

⚠️ 初学者常见错误:

  1. 只优化速度 —— 吞吐量和成本同样重要

  2. 优化过度影响质量 —— 要在质量和速度间平衡

  3. 一种优化就够了 —— 通常需要多种技术组合

🎯 小练习 / 项目: 列出你能想到的所有推理优化技术,给每个技术打分:速度提升多少、显存节省多少、质量损失多少、实现难度多少。


Model serving(模型服务)

什么是模型服务?

模型服务是把训练好的模型包装成 API,让用户通过网络调用,是大模型商业化的核心。

模型服务做什么:

  1. API 接口:HTTP/gRPC 接口

  2. 批处理调度:智能合并请求

  3. 负载均衡:多 GPU / 多机器分配

  4. 限流监控:QPS 限制、日志监控

  5. 弹性伸缩:自动扩缩容

常用框架:

  • vLLM:开源,性能好

  • Text Generation Inference (TGI):Hugging Face

  • TensorRT-LLM:NVIDIA

  • vLLM > TGI > 原生 transformers

✅ 简短总结:模型服务将训练好的模型包装成可网络调用的 API,处理批处理、负载均衡、监控等工程问题,是大模型从 demo 到产品的关键一步。

🧠 简单思维模型:模型服务就像外卖平台,厨师(模型)在厨房做饭,平台接订单、调度、送餐、收钱,用户不用去厨房直接点餐就行。

⚠️ 初学者常见错误:

  1. 直接用 transformers 做服务 —— 性能差 10 倍以上

  2. 不做批处理 ——GPU 利用率极低

  3. 忽略监控 —— 出问题不知道

🎯 小练习 / 项目: 用 vLLM 启动一个模型服务,然后用 ab 或 wrk 做压力测试,看每秒能处理多少请求,GPU 利用率是多少。


Batch inference(批量推理)

什么是批量推理?

批量推理是把多个请求放在一起同时处理,利用 GPU 的并行计算能力,大大提高效率。

为什么批量处理更快?

  • GPU 是并行计算,算 1 个和算 8 个时间差不多

  • 单独处理:8 个请求 = 8 × 时间

  • 批量处理:8 个请求 ≈ 1 × 时间

两种批处理:

  1. 静态批处理:攒够 N 个请求一起处理

  2. 连续批处理(Continuous Batching):不用等,处理完一个就补一个新的

✅ 简短总结:批量推理将多个请求合并同时处理,充分利用 GPU 并行能力,大幅提高吞吐量、降低单 token 成本,是高并发服务的必备。

🧠 简单思维模型:批量推理就像公交车 vs 出租车,出租车(单请求)一次拉一个人,公交车(批量)一次拉几十人,人均成本低多了。

⚠️ 初学者常见错误:

  1. 批量越大越好 —— 太大反而变慢,通常 32-64 最优

  2. 只看吞吐量 —— 批量太大会增加延迟

  3. 静态批处理就够了 —— 连续批处理好太多

🎯 小练习 / 项目: 写一个简单脚本,分别用 batch size=1, 4, 8, 16, 32 跑推理,记录每个 batch 的时间和吞吐量,画个曲线找最优值。


GPU basics(GPU 基础)

什么是 GPU?

GPU = Graphics Processing Unit,图形处理器,现在是 AI 训练和推理的核心硬件。

GPU vs CPU:

  • CPU:几个强大的核心,擅长复杂逻辑,串行计算

  • GPU:几千个弱小的核心,擅长简单重复,并行计算

AI 常用 GPU:

  • 消费级:RTX 3090/4090(24GB)

  • 数据中心:A100(40/80GB)、H100(80GB)

  • 性价比:RTX 4090 > A100 > H100

关键指标:

  • 显存大小(最重要)

  • 显存带宽

  • TFLOPS(算力)

✅ 简短总结:GPU 通过数千个核心的大规模并行计算能力,成为 AI 训练和推理的核心硬件,显存大小是选择 GPU 的第一指标。

🧠 简单思维模型:CPU 是一个数学教授,算难题很快;GPU 是10000 个小学生,每人算一道简单题,10000 道题一起算完比教授快多了。

⚠️ 初学者常见错误:

  1. 只看算力不看显存 —— 显存不够再强也没用

  2. 消费级卡不能做训练 ——4090 训练 7B 模型很好用

  3. 越贵的卡性价比越高 ——4090 是性价比之王

🎯 小练习 / 项目: 做一个 GPU 对比表,列出 RTX 3090、4090、A10、A100、H100 的:显存、显存带宽、FP16 算力、价格、每 GB 显存成本。


VRAM basics(显存基础)

什么是 VRAM?

VRAM = Video RAM,显卡专用内存,是 GPU 能同时放多少数据的决定因素。

模型显存占用估算:

  • FP16:参数 × 2 字节 = 模型大小

    • 7B 模型:14GB

    • 13B 模型:26GB

    • 70B 模型:140GB

  • 4bit 量化:参数 × 0.5 字节

    • 7B 模型:3.5GB

    • 13B 模型:6.5GB

    • 70B 模型:35GB

显存还用来放什么:

  1. 模型权重

  2. KV Cache

  3. 中间激活值

  4. 优化器状态(训练时)

✅ 简短总结:VRAM 是 GPU 的专用内存,决定了能运行多大的模型,模型大小 = 参数量 × 每个参数字节数,量化可以大幅减少显存需求。

🧠 简单思维模型:VRAM 就像工作台大小,工作台越大,能同时放的材料(模型参数、中间结果)越多,能做的活越复杂。

⚠️ 初学者常见错误:

  1. 只算模型大小 ——KV Cache 和激活值也要占显存

  2. 24GB 刚好放 13B FP16—— 实际需要留余量

  3. 显存占满才好 —— 留 10-20% 余量更稳定

🎯 小练习 / 项目: 用 nvidia-smi 监控,分别加载 7B 模型的 FP16、8bit、4bit 版本,记录每个的显存占用,和理论值对比。


Latency vs quality tradeoffs(延迟与质量权衡)

什么是权衡?

AI 推理中,速度和质量通常是矛盾的,要根据场景做取舍。

常见的权衡点:

技术 质量影响 速度提升 适用场景
4bit 量化 极小 2x 几乎所有场景
8bit 量化 几乎无 1.5x 所有场景
投机解码 无 2-3x 所有场景
更小的模型 有损失 5-10x 简单任务
减少 beam search 略有损失 2x 聊天场景
降低上下文 可能损失 显著 短对话

怎么选?

  • 聊天机器人:延迟优先,用户等不及

  • 写作 / 总结:质量优先,慢一点没关系

  • 批量处理:吞吐量优先

✅ 简短总结:推理中速度和质量通常需要权衡,不同场景优先级不同,聊天要快,复杂任务要质量,批量处理要吞吐量。

🧠 简单思维模型:延迟质量权衡就像做饭,快餐(快但一般)、家常菜(平衡)、米其林(慢但好吃),不同客人需求不同。

⚠️ 初学者常见错误:

  1. 什么都要最好 —— 又快又好又便宜不可能

  2. 所有场景用同一个配置 —— 要分场景优化

  3. 只看 benchmark—— 真实用户体验最重要

🎯 小练习 / 项目: 为三个场景设计优化方案:1)客服聊天机器人;2)文档总结工具;3)离线批量数据处理,分别说明你会选择什么模型、什么量化、什么优化技术。


Local AI Ecosystem(本地 AI 生态)

llama.cpp

什么是 llama.cpp?

llama.cpp 是一个纯 C/C++ 实现的 LLM 推理引擎,由 Georgi Gerganov 开发,开启了本地 AI 革命。

核心特点:

  1. 纯 C 实现:无依赖,到处能跑

  2. 量化支持:GGUF 格式,2bit-16bit

  3. 跨平台:Windows/Mac/Linux/ 手机 / 浏览器

  4. CPU 优先:没有 GPU 也能跑

  5. 极快:手工优化的 SIMD 代码

为什么重要?

  • 第一个让普通人能在自己电脑跑大模型的项目

  • 整个本地 AI 生态的基础

  • Ollama、LM Studio 都是基于它

✅ 简短总结:llama.cpp 是纯 C 实现的轻量级 LLM 推理引擎,跨平台、支持 CPU、速度极快,是整个本地运行大模型生态的基石。

🧠 简单思维模型:llama.cpp 就像汽车的发动机,Ollama、LM Studio 这些是车的外壳和内饰,核心发动机都是 llama.cpp。

⚠️ 初学者常见错误:

  1. 只支持 LLaMA—— 现在支持所有主流模型

  2. CPU 很慢 —— 苹果硅上 CPU 推理很快

  3. 不支持 GPU—— 现在支持 CUDA/Metal/ROCm

🎯 小练习 / 项目: 去github.com/ggerganov/llama.cpp下载,编译,然后跑一个 7B Q4 模型,体验一下纯 CPU 跑大模型。


Ollama

什么是 Ollama?

Ollama 是最流行的本地运行大模型工具,把 llama.cpp 包装得非常易用,一键下载运行。

核心功能:

  1. 一键安装:一条命令安装

  2. 模型库:ollama run llama2 自动下载运行

  3. OpenAI 兼容 API:直接替换 OpenAI 接口

  4. 多模型管理:本地管理多个模型

  5. 支持 LoRA:动态加载 LoRA

常用命令:

ollama run llama2     # 运行Llama 2
ollama run mistral    # 运行Mistral
ollama list           # 列出本地模型
ollama pull qwen:7b   # 下载模型

✅ 简短总结:Ollama 将复杂的本地大模型运行简化到一条命令,自带模型库和 API 接口,是普通用户体验本地 AI 的首选工具。

🧠 简单思维模型:Ollama 就像手机的应用商店,搜一下,点一下,APP(模型)就装好了直接用,不用管编译、依赖这些技术细节。

⚠️ 初学者常见错误:

  1. Ollama 只能跑小模型 —— 现在支持 70B 甚至更大

  2. 只能命令行用 —— 有很多 GUI 前端

  3. 性能比原生 llama.cpp 差 —— 几乎没差别

🎯 小练习 / 项目: 安装 Ollama,然后依次运行 llama2、mistral、qwen 三个模型,和它们对话,体验不同模型的特点,然后用 curl 调用它的 API。


vLLM

什么是 vLLM?

vLLM 是 UC Berkeley 开发的高性能 LLM 推理和服务引擎,是现在性能最好的开源服务框架。

核心技术:

  1. PagedAttention:像操作系统虚拟内存一样管理 KV Cache

  2. 连续批处理:不用等,动态加入请求

  3. 极致优化:比 transformers 快 10-20 倍

  4. OpenAI 兼容 API:直接替换

性能对比:

  • transformers:1x

  • TGI:3-5x

  • vLLM:10-20x

✅ 简短总结:vLLM 通过 PagedAttention 和连续批处理等创新,提供了目前最快的 LLM 推理和服务性能,是生产部署的首选。

🧠 简单思维模型:vLLM 就像高铁,transformers 是绿皮火车,TGI 是动车,vLLM 是又快又稳载客量又大的高铁。

⚠️ 初学者常见错误:

  1. 只适合大部署 —— 个人用也比 transformers 快很多

  2. 只支持 NVIDIA—— 现在也支持 AMD 和苹果硅

  3. 部署很复杂 —— 一条命令就启动了

🎯 小练习 / 项目: 用 pip 安装 vLLM,启动一个 OpenAI 兼容的 API 服务,然后用同样的请求分别调用 vLLM 和原生 transformers,对比 tokens/s 速度。


MLX

什么是 MLX?

MLX 是苹果公司推出的苹果硅芯片专用的机器学习框架,专为 M 系列芯片优化。

核心优势:

  1. 统一内存:CPU/GPU 共享内存,不用拷贝

  2. 苹果硅优化:充分利用 Neon、Metal

  3. 原生支持:M1/M2/M3 都能发挥最大性能

  4. 简单易用:API 类似 NumPy/PyTorch

能做什么:

  • 快速推理 LLM

  • 本地微调(QLoRA)

  • 训练小模型

  • M2 Ultra 能跑 70B 模型!

✅ 简短总结:MLX 是苹果专为 M 系列芯片优化的机器学习框架,充分利用苹果硅的统一内存架构,在 Mac 上跑大模型速度远超其他框架。

🧠 简单思维模型:MLX 就像苹果芯片的专属司机,最懂这辆车的性能,能开出最快最稳的速度,其他通用司机(PyTorch)做不到。

⚠️ 初学者常见错误:

  1. 所有 Mac 都一样 —— 芯片越强差别越大

  2. 和 PyTorch 速度差不多 ——MLX 快 2-3 倍

  3. 只能推理 —— 也能训练和微调

🎯 小练习 / 项目: 如果你有 Mac,安装 mlx-examples,跑一个 Llama 7B 模型,对比 Ollama 的速度,感受苹果硅的威力。


Hugging Face

什么是 Hugging Face?

Hugging Face 是 AI 界的 GitHub,最大的模型和数据集社区,也是最重要的开源 AI 基础设施。

核心产品:

  1. Hub:模型仓库,几十万个模型

  2. Transformers:最流行的模型库

  3. Datasets:数据集库

  4. Accelerate:分布式训练

  5. PEFT:参数高效微调

  6. TRL:强化学习 / 对齐

为什么重要?

  • 几乎所有开源模型都上传到 Hugging Face

  • 所有 AI 开发者都用它的工具

  • 整个开源 AI 生态的中心

✅ 简短总结:Hugging Face 是开源 AI 的中心枢纽,提供模型仓库、模型库、数据集等核心工具,是每个 AI 开发者的必备工具。

🧠 简单思维模型:Hugging Face 就像AI 界的淘宝,模型是商品,大家都在上面开店卖货(上传模型),买家(开发者)在上面挑货,还有各种配套工具。

⚠️ 初学者常见错误:

  1. 只是模型下载站 —— 工具生态才是核心

  2. 模型都能用 —— 很多模型质量很差

  3. 只能用它的库 —— 也可以直接下载权重

🎯 小练习 / 项目: 注册 Hugging Face 账号,浏览 Models 页面,按下载量排序,看看最流行的模型都是哪些,然后用 transformers 库加载其中一个。


Unsloth

什么是 Unsloth?

Unsloth 是一个专注于微调速度优化的库,能让 LoRA 微调速度提升 2-5 倍,显存减少一半。

核心优化:

  1. 手工优化的内核:每个算子都手动优化

  2. 降精度优化:聪明的混合精度

  3. 减少冗余计算:去掉不必要的计算

  4. 支持所有主流模型:Llama、Mistral、Qwen 等

效果:

  • 微调 7B 模型:RTX 3090 上 1 小时搞定

  • 微调 13B 模型:24GB 显存足够

  • 零质量损失

✅ 简短总结:Unsloth 通过高度优化的内核,让 LoRA 微调速度提升数倍、显存减半,是现在个人用户微调大模型的首选工具。

🧠 简单思维模型:Unsloth 就像给汽车刷 ECU,发动机还是那个发动机,但优化后马力大增,油耗还降低了,不用换硬件。

⚠️ 初学者常见错误:

  1. 只有微调快 —— 推理也优化了

  2. 会损失质量 —— 官方证明和原生 LoRA 完全一致

  3. 只支持少数模型 —— 现在支持所有主流开源模型

🎯 小练习 / 项目: 用 Unsloth 和用原生 peft 分别微调同一个模型,记录训练时间和显存占用,对比速度差异。


Axolotl

什么是 Axolotl?

Axolotl 是一个一站式微调工具,把各种微调技术(LoRA、QLoRA、全参数)包装成配置文件驱动的工具。

核心特点:

  1. 配置驱动:写个 yaml 配置就开始微调

  2. 支持所有方法:LoRA、QLoRA、全参数

  3. 支持所有模型:几乎所有开源模型

  4. 最佳实践:内置各种优化和最佳实践

  5. 多卡训练:开箱即用分布式训练

简单示例:

base_model: mistralai/Mistral-7B-v0.1
load_in_4bit: true
adapter: lora
lora_r: 8
lora_alpha: 16
datasets:
  - path: my_dataset.jsonl

✅ 简短总结:Axolotl 是一站式微调框架,通过配置文件统一各种微调方法,内置最佳实践,不用写代码就能专业地微调模型。

🧠 简单思维模型:Axolotl 就像单反相机的自动模式,专业摄影师(专家)调好所有参数,你只要按快门就行,不用懂每个参数怎么设。

⚠️ 初学者常见错误:

  1. 太复杂不适合新手 —— 反而比自己写代码简单

  2. 只能微调 —— 也能做继续预训练

  3. 性能不如手写 —— 内置的优化比大部分人写得好

🎯 小练习 / 项目: 安装 Axolotl,找一个示例配置文件,修改成你自己的数据集,跑一个微调,对比自己写代码的体验。


PEFT

什么是 PEFT?

PEFT = Parameter-Efficient Fine-Tuning,Hugging Face 官方的参数高效微调库。

支持的方法:

  1. LoRA:最常用

  2. AdaLoRA:自适应 LoRA

  3. IA3:Infused Adapter

  4. Prefix Tuning:前缀微调

  5. Prompt Tuning:提示微调

优点:

  • 官方维护,质量有保证

  • 和 transformers 无缝集成

  • 支持所有模型

  • 文档完善

✅ 简短总结:PEFT 是 Hugging Face 官方的参数高效微调库,统一了 LoRA 等各种高效微调方法,和 transformers 无缝集成,是微调的标准工具。

🧠 简单思维模型:PEFT 就像万能转接头,不管什么模型(手机),都能用这个转接头接上各种适配器(LoRA 等),不用改原模型。

⚠️ 初学者常见错误:

  1. 只有 LoRA—— 还有很多其他方法

  2. 只能 transformers 用 —— 也能给其他库用

  3. 速度最快 ——Unsloth 优化版更快

🎯 小练习 / 项目: 用 PEFT 写一个最简单的 LoRA 微调脚本,10 行代码以内,理解 PEFT 的基本用法。


TRL library

什么是 TRL?

TRL = Transformer Reinforcement Learning,Hugging Face 官方的强化学习和对齐库。

支持的方法:

  1. SFT:监督微调

  2. Reward Modeling:奖励模型训练

  3. PPO:近端策略优化

  4. DPO:直接偏好优化

  5. KTO:新知识对齐

为什么用 TRL?

  • 官方实现,正确可靠

  • 各种对齐方法的标准实现

  • 和 PEFT、transformers 集成

  • 不用自己从头写 DPO

✅ 简短总结:TRL 是 Hugging Face 官方的模型对齐库,提供 SFT、DPO、PPO 等各种对齐方法的标准实现,是做模型对齐的首选。

🧠 简单思维模型:TRL 就像驾校的标准课程,SFT 是科目一,DPO 是科目二科目三,按标准流程学,就能拿到驾照(对齐好的模型)。

⚠️ 初学者常见错误:

  1. 只能做 RL—— 现在 DPO 才是主力

  2. 很难用 —— 封装得很好,简单易用

  3. 只有 RLHF—— 支持各种新的对齐方法

🎯 小练习 / 项目: 用 TRL 的 DPOTrainer,跑一个最简单的 DPO 例子,理解偏好数据格式和训练流程。


📚 目录

  1. [Foundations(基础)](#foundations基础)

  2. [Datasets & Training(数据集与训练)](#datasets--training数据集与训练)

  3. [Fine-Tuning(微调)](#fine-tuning微调)

  4. [Inference & Optimization(推理与优化)](#inference--optimization推理与优化)

  5. [Local AI Ecosystem(本地 AI 生态)](#local-ai-ecosystem本地ai生态)

  6. [RAG & Memory(检索增强与记忆)](#rag--memory检索增强与记忆)

  7. [Agents & Workflows(智能体与工作流)](#agents--workflows智能体与工作流)

  8. [Model Types(模型类型)](#model-types模型类型)

  9. [Deployment(部署)](#deployment部署)

  10. [Evaluation(评估)](#evaluation评估)

  11. [Real-World Skills(实战技能)](#real-world-skills实战技能)

Inference & Optimization(推理与优化)

KV cache

什么是 KV Cache?

KV Cache 是 Key-Value 缓存,是加速大模型推理的最重要技术之一,避免重复计算。

工作原理:

  • Transformer 每层都要计算 Attention 的 K(键)和 V(值)

  • 生成第 1 个词:计算所有 token 的 K,V

  • 生成第 2 个词:不用重新算前面的,只算新 token 的 K,V,缓存的直接用

  • 以此类推...

效果:

  • 速度提升 2-3 倍

  • 显存占用稍微增加

  • 生成越长,加速越明显

✅ 简短总结:KV Cache 缓存 Attention 计算中的 Key 和 Value,避免生成每个 token 时都重新计算所有前面的 token,是推理加速的基础技术。

🧠 简单思维模型:KV Cache 就像做数学题记中间结果,算第二步时不用从头算第一步,直接用第一步算好的结果,大大加快速度。

⚠️ 初学者常见错误:

  1. 以为 KV Cache 免费 —— 会增加一些显存占用

  2. 所有场景都开 KV Cache—— 极短的生成反而可能变慢

  3. 不理解 Cache 的序列限制 —— 超过窗口需要重建缓存

🎯 小练习 / 项目: 运行同一个模型,分别开启和关闭 KV Cache,生成长文本(比如 1000 字),对比两者的生成速度差异。


Flash Attention

什么是 Flash Attention?

Flash Attention 是斯坦福大学提出的 Attention 加速算法,通过优化计算顺序和内存访问,大幅提升速度并降低显存。

核心优化:

  1. Tiling(分块计算):把大矩阵分成小块,一块块算

  2. 重计算:不用存所有中间结果,需要时重新算

  3. IO 感知:优化 GPU SRAM 和 HBM 之间的数据传输

效果:

  • 速度提升 2-4 倍

  • 显存减少 50-80%

  • 长序列效果尤其明显

✅ 简短总结:Flash Attention 通过优化 Attention 的计算方式和内存访问模式,在不损失精度的前提下大幅提升速度、降低显存,是现在所有大模型的标配。

🧠 简单思维模型:Flash Attention 就像整理书桌,原来把所有书都摊在桌上(占满内存),现在把书分堆,只把正在看的那堆拿出来,既快又省空间。

⚠️ 初学者常见错误:

  1. Flash Attention 只加速 —— 其实主要是省显存

  2. 所有硬件都支持 —— 需要 Ampere 及以上架构

  3. 一定比普通 Attention 快 —— 极短序列可能差不多

🎯 小练习 / 项目: 分别用普通 Attention 和 Flash Attention 跑一个长序列(4096 tokens),对比显存占用和计算时间。


Speculative decoding(投机解码)

什么是投机解码?

投机解码用一个小模型 "猜" 接下来的 N 个词,然后大模型一次性验证,猜对了就跳过,猜错了再修正。

工作流程:

  1. 小模型(草稿模型)快速生成 k 个候选词

  2. 大模型(目标模型)并行验证这 k 个词

  3. 猜对的都保留,猜错的从那里重新开始

  4. 平均每次能生成 2-3 个词

效果:

  • 速度提升 2-3 倍

  • 输出完全和原模型一样(无质量损失)

  • 不需要重新训练

✅ 简短总结:投机解码用小模型快速 "猜" 多个词,大模型一次性验证,在不损失质量的前提下大幅提升生成速度,是推理加速的黑科技。

🧠 简单思维模型:投机解码就像学霸帮学渣检查作业,学渣(小模型)快速写完几道题,学霸(大模型)一眼检查完,对的就过,错的改,比学霸一道一道做快多了。

⚠️ 初学者常见错误:

  1. 会改变输出质量 —— 数学证明和原模型分布完全一致

  2. 随便什么小模型都行 —— 需要和大模型分布接近

  3. 加速比无上限 —— 通常 2-3 倍是极限

🎯 小练习 / 项目: 用 llama.cpp 开启投机解码,用 7B 模型做草稿模型验证 13B 模型,对比普通解码的 tokens / 秒速度。


Inference optimization(推理优化)

什么是推理优化?

推理优化是各种让模型跑更快、用更少显存、支持更多并发用户的技术总称。

主要优化方向:

  1. 算法层面:KV Cache、Flash Attention、投机解码

  2. 量化:4bit/8bit 量化

  3. 编译优化:vLLM、TensorRT-LLM

  4. 批处理:把多个请求合并处理

  5. 连续批处理:动态加入新请求

优化目标:

  • 延迟:单个用户的响应速度

  • 吞吐量:每秒能处理的 token 数

  • 成本:每 1000token 多少钱

✅ 简短总结:推理优化包含算法、量化、编译、批处理等多种技术,目标是降低延迟、提高吞吐量、降低成本,是 AI 产品落地的关键。

🧠 简单思维模型:推理优化就像开餐厅优化翻台率,通过各种方法让同样大的店(GPU)能接待更多客人(用户),上菜更快(延迟低)。

⚠️ 初学者常见错误:

  1. 只优化速度 —— 吞吐量和成本同样重要

  2. 优化过度影响质量 —— 要在质量和速度间平衡

  3. 一种优化就够了 —— 通常需要多种技术组合

🎯 小练习 / 项目: 列出你能想到的所有推理优化技术,给每个技术打分:速度提升多少、显存节省多少、质量损失多少、实现难度多少。


Model serving(模型服务)

什么是模型服务?

模型服务是把训练好的模型包装成 API,让用户通过网络调用,是大模型商业化的核心。

模型服务做什么:

  1. API 接口:HTTP/gRPC 接口

  2. 批处理调度:智能合并请求

  3. 负载均衡:多 GPU / 多机器分配

  4. 限流监控:QPS 限制、日志监控

  5. 弹性伸缩:自动扩缩容

常用框架:

  • vLLM:开源,性能好

  • Text Generation Inference (TGI):Hugging Face

  • TensorRT-LLM:NVIDIA

  • vLLM > TGI > 原生 transformers

✅ 简短总结:模型服务将训练好的模型包装成可网络调用的 API,处理批处理、负载均衡、监控等工程问题,是大模型从 demo 到产品的关键一步。

🧠 简单思维模型:模型服务就像外卖平台,厨师(模型)在厨房做饭,平台接订单、调度、送餐、收钱,用户不用去厨房直接点餐就行。

⚠️ 初学者常见错误:

  1. 直接用 transformers 做服务 —— 性能差 10 倍以上

  2. 不做批处理 ——GPU 利用率极低

  3. 忽略监控 —— 出问题不知道

🎯 小练习 / 项目: 用 vLLM 启动一个模型服务,然后用 ab 或 wrk 做压力测试,看每秒能处理多少请求,GPU 利用率是多少。


Batch inference(批量推理)

什么是批量推理?

批量推理是把多个请求放在一起同时处理,利用 GPU 的并行计算能力,大大提高效率。

为什么批量处理更快?

  • GPU 是并行计算,算 1 个和算 8 个时间差不多

  • 单独处理:8 个请求 = 8 × 时间

  • 批量处理:8 个请求 ≈ 1 × 时间

两种批处理:

  1. 静态批处理:攒够 N 个请求一起处理

  2. 连续批处理(Continuous Batching):不用等,处理完一个就补一个新的

✅ 简短总结:批量推理将多个请求合并同时处理,充分利用 GPU 并行能力,大幅提高吞吐量、降低单 token 成本,是高并发服务的必备。

🧠 简单思维模型:批量推理就像公交车 vs 出租车,出租车(单请求)一次拉一个人,公交车(批量)一次拉几十人,人均成本低多了。

⚠️ 初学者常见错误:

  1. 批量越大越好 —— 太大反而变慢,通常 32-64 最优

  2. 只看吞吐量 —— 批量太大会增加延迟

  3. 静态批处理就够了 —— 连续批处理好太多

🎯 小练习 / 项目: 写一个简单脚本,分别用 batch size=1, 4, 8, 16, 32 跑推理,记录每个 batch 的时间和吞吐量,画个曲线找最优值。


GPU basics(GPU 基础)

什么是 GPU?

GPU = Graphics Processing Unit,图形处理器,现在是 AI 训练和推理的核心硬件。

GPU vs CPU:

  • CPU:几个强大的核心,擅长复杂逻辑,串行计算

  • GPU:几千个弱小的核心,擅长简单重复,并行计算

AI 常用 GPU:

  • 消费级:RTX 3090/4090(24GB)

  • 数据中心:A100(40/80GB)、H100(80GB)

  • 性价比:RTX 4090 > A100 > H100

关键指标:

  • 显存大小(最重要)

  • 显存带宽

  • TFLOPS(算力)

✅ 简短总结:GPU 通过数千个核心的大规模并行计算能力,成为 AI 训练和推理的核心硬件,显存大小是选择 GPU 的第一指标。

🧠 简单思维模型:CPU 是一个数学教授,算难题很快;GPU 是10000 个小学生,每人算一道简单题,10000 道题一起算完比教授快多了。

⚠️ 初学者常见错误:

  1. 只看算力不看显存 —— 显存不够再强也没用

  2. 消费级卡不能做训练 ——4090 训练 7B 模型很好用

  3. 越贵的卡性价比越高 ——4090 是性价比之王

🎯 小练习 / 项目: 做一个 GPU 对比表,列出 RTX 3090、4090、A10、A100、H100 的:显存、显存带宽、FP16 算力、价格、每 GB 显存成本。


VRAM basics(显存基础)

什么是 VRAM?

VRAM = Video RAM,显卡专用内存,是 GPU 能同时放多少数据的决定因素。

模型显存占用估算:

  • FP16:参数 × 2 字节 = 模型大小

    • 7B 模型:14GB

    • 13B 模型:26GB

    • 70B 模型:140GB

  • 4bit 量化:参数 × 0.5 字节

    • 7B 模型:3.5GB

    • 13B 模型:6.5GB

    • 70B 模型:35GB

显存还用来放什么:

  1. 模型权重

  2. KV Cache

  3. 中间激活值

  4. 优化器状态(训练时)

✅ 简短总结:VRAM 是 GPU 的专用内存,决定了能运行多大的模型,模型大小 = 参数量 × 每个参数字节数,量化可以大幅减少显存需求。

🧠 简单思维模型:VRAM 就像工作台大小,工作台越大,能同时放的材料(模型参数、中间结果)越多,能做的活越复杂。

⚠️ 初学者常见错误:

  1. 只算模型大小 ——KV Cache 和激活值也要占显存

  2. 24GB 刚好放 13B FP16—— 实际需要留余量

  3. 显存占满才好 —— 留 10-20% 余量更稳定

🎯 小练习 / 项目: 用 nvidia-smi 监控,分别加载 7B 模型的 FP16、8bit、4bit 版本,记录每个的显存占用,和理论值对比。


Latency vs quality tradeoffs(延迟与质量权衡)

什么是权衡?

AI 推理中,速度和质量通常是矛盾的,要根据场景做取舍。

常见的权衡点:

技术 质量影响 速度提升 适用场景
4bit 量化 极小 2x 几乎所有场景
8bit 量化 几乎无 1.5x 所有场景
投机解码 无 2-3x 所有场景
更小的模型 有损失 5-10x 简单任务
减少 beam search 略有损失 2x 聊天场景
降低上下文 可能损失 显著 短对话

怎么选?

  • 聊天机器人:延迟优先,用户等不及

  • 写作 / 总结:质量优先,慢一点没关系

  • 批量处理:吞吐量优先

✅ 简短总结:推理中速度和质量通常需要权衡,不同场景优先级不同,聊天要快,复杂任务要质量,批量处理要吞吐量。

🧠 简单思维模型:延迟质量权衡就像做饭,快餐(快但一般)、家常菜(平衡)、米其林(慢但好吃),不同客人需求不同。

⚠️ 初学者常见错误:

  1. 什么都要最好 —— 又快又好又便宜不可能

  2. 所有场景用同一个配置 —— 要分场景优化

  3. 只看 benchmark—— 真实用户体验最重要

🎯 小练习 / 项目: 为三个场景设计优化方案:1)客服聊天机器人;2)文档总结工具;3)离线批量数据处理,分别说明你会选择什么模型、什么量化、什么优化技术。


Local AI Ecosystem(本地 AI 生态)

llama.cpp

什么是 llama.cpp?

llama.cpp 是一个纯 C/C++ 实现的 LLM 推理引擎,由 Georgi Gerganov 开发,开启了本地 AI 革命。

核心特点:

  1. 纯 C 实现:无依赖,到处能跑

  2. 量化支持:GGUF 格式,2bit-16bit

  3. 跨平台:Windows/Mac/Linux/ 手机 / 浏览器

  4. CPU 优先:没有 GPU 也能跑

  5. 极快:手工优化的 SIMD 代码

为什么重要?

  • 第一个让普通人能在自己电脑跑大模型的项目

  • 整个本地 AI 生态的基础

  • Ollama、LM Studio 都是基于它

✅ 简短总结:llama.cpp 是纯 C 实现的轻量级 LLM 推理引擎,跨平台、支持 CPU、速度极快,是整个本地运行大模型生态的基石。

🧠 简单思维模型:llama.cpp 就像汽车的发动机,Ollama、LM Studio 这些是车的外壳和内饰,核心发动机都是 llama.cpp。

⚠️ 初学者常见错误:

  1. 只支持 LLaMA—— 现在支持所有主流模型

  2. CPU 很慢 —— 苹果硅上 CPU 推理很快

  3. 不支持 GPU—— 现在支持 CUDA/Metal/ROCm

🎯 小练习 / 项目: 去github.com/ggerganov/llama.cpp下载,编译,然后跑一个 7B Q4 模型,体验一下纯 CPU 跑大模型。


Ollama

什么是 Ollama?

Ollama 是最流行的本地运行大模型工具,把 llama.cpp 包装得非常易用,一键下载运行。

核心功能:

  1. 一键安装:一条命令安装

  2. 模型库:ollama run llama2 自动下载运行

  3. OpenAI 兼容 API:直接替换 OpenAI 接口

  4. 多模型管理:本地管理多个模型

  5. 支持 LoRA:动态加载 LoRA

常用命令:

ollama run llama2     # 运行Llama 2
ollama run mistral    # 运行Mistral
ollama list           # 列出本地模型
ollama pull qwen:7b   # 下载模型

✅ 简短总结:Ollama 将复杂的本地大模型运行简化到一条命令,自带模型库和 API 接口,是普通用户体验本地 AI 的首选工具。

🧠 简单思维模型:Ollama 就像手机的应用商店,搜一下,点一下,APP(模型)就装好了直接用,不用管编译、依赖这些技术细节。

⚠️ 初学者常见错误:

  1. Ollama 只能跑小模型 —— 现在支持 70B 甚至更大

  2. 只能命令行用 —— 有很多 GUI 前端

  3. 性能比原生 llama.cpp 差 —— 几乎没差别

🎯 小练习 / 项目: 安装 Ollama,然后依次运行 llama2、mistral、qwen 三个模型,和它们对话,体验不同模型的特点,然后用 curl 调用它的 API。


vLLM

什么是 vLLM?

vLLM 是 UC Berkeley 开发的高性能 LLM 推理和服务引擎,是现在性能最好的开源服务框架。

核心技术:

  1. PagedAttention:像操作系统虚拟内存一样管理 KV Cache

  2. 连续批处理:不用等,动态加入请求

  3. 极致优化:比 transformers 快 10-20 倍

  4. OpenAI 兼容 API:直接替换

性能对比:

  • transformers:1x

  • TGI:3-5x

  • vLLM:10-20x

✅ 简短总结:vLLM 通过 PagedAttention 和连续批处理等创新,提供了目前最快的 LLM 推理和服务性能,是生产部署的首选。

🧠 简单思维模型:vLLM 就像高铁,transformers 是绿皮火车,TGI 是动车,vLLM 是又快又稳载客量又大的高铁。

⚠️ 初学者常见错误:

  1. 只适合大部署 —— 个人用也比 transformers 快很多

  2. 只支持 NVIDIA—— 现在也支持 AMD 和苹果硅

  3. 部署很复杂 —— 一条命令就启动了

🎯 小练习 / 项目: 用 pip 安装 vLLM,启动一个 OpenAI 兼容的 API 服务,然后用同样的请求分别调用 vLLM 和原生 transformers,对比 tokens/s 速度。


MLX

什么是 MLX?

MLX 是苹果公司推出的苹果硅芯片专用的机器学习框架,专为 M 系列芯片优化。

核心优势:

  1. 统一内存:CPU/GPU 共享内存,不用拷贝

  2. 苹果硅优化:充分利用 Neon、Metal

  3. 原生支持:M1/M2/M3 都能发挥最大性能

  4. 简单易用:API 类似 NumPy/PyTorch

能做什么:

  • 快速推理 LLM

  • 本地微调(QLoRA)

  • 训练小模型

  • M2 Ultra 能跑 70B 模型!

✅ 简短总结:MLX 是苹果专为 M 系列芯片优化的机器学习框架,充分利用苹果硅的统一内存架构,在 Mac 上跑大模型速度远超其他框架。

🧠 简单思维模型:MLX 就像苹果芯片的专属司机,最懂这辆车的性能,能开出最快最稳的速度,其他通用司机(PyTorch)做不到。

⚠️ 初学者常见错误:

  1. 所有 Mac 都一样 —— 芯片越强差别越大

  2. 和 PyTorch 速度差不多 ——MLX 快 2-3 倍

  3. 只能推理 —— 也能训练和微调

🎯 小练习 / 项目: 如果你有 Mac,安装 mlx-examples,跑一个 Llama 7B 模型,对比 Ollama 的速度,感受苹果硅的威力。


Hugging Face

什么是 Hugging Face?

Hugging Face 是 AI 界的 GitHub,最大的模型和数据集社区,也是最重要的开源 AI 基础设施。

核心产品:

  1. Hub:模型仓库,几十万个模型

  2. Transformers:最流行的模型库

  3. Datasets:数据集库

  4. Accelerate:分布式训练

  5. PEFT:参

(注:文档部分内容可能由 AI 生成)