# AI术语完全指南:从入门到进阶 > 一份系统化的 AI 技术术语解释手册,从基础概念到高级应用,循序渐进,通俗易懂。 > > ## Inference \& Optimization(推理与优化) ### KV cache **什么是 KV Cache?** KV Cache 是 Key\-Value 缓存,是加速大模型推理的最重要技术之一,避免重复计算。 **工作原理**: - Transformer 每层都要计算 Attention 的 K(键)和 V(值) - 生成第 1 个词:计算所有 token 的 K,V - 生成第 2 个词:不用重新算前面的,只算新 token 的 K,V,缓存的直接用 - 以此类推\.\.\. **效果**: - 速度提升 2\-3 倍 - 显存占用稍微增加 - 生成越长,加速越明显 ✅ **简短总结**:KV Cache 缓存 Attention 计算中的 Key 和 Value,避免生成每个 token 时都重新计算所有前面的 token,是推理加速的基础技术。 🧠 **简单思维模型**:KV Cache 就像**做数学题记中间结果**,算第二步时不用从头算第一步,直接用第一步算好的结果,大大加快速度。 ⚠️ **初学者常见错误**: 1. 以为 KV Cache 免费 —— 会增加一些显存占用 2. 所有场景都开 KV Cache—— 极短的生成反而可能变慢 3. 不理解 Cache 的序列限制 —— 超过窗口需要重建缓存 🎯 **小练习 / 项目**: 运行同一个模型,分别开启和关闭 KV Cache,生成长文本(比如 1000 字),对比两者的生成速度差异。 --- ### Flash Attention **什么是 Flash Attention?** Flash Attention 是斯坦福大学提出的 Attention 加速算法,通过优化计算顺序和内存访问,大幅提升速度并降低显存。 **核心优化**: 1. **Tiling(分块计算)**:把大矩阵分成小块,一块块算 2. **重计算**:不用存所有中间结果,需要时重新算 3. **IO 感知**:优化 GPU SRAM 和 HBM 之间的数据传输 **效果**: - 速度提升 2\-4 倍 - 显存减少 50\-80% - 长序列效果尤其明显 ✅ **简短总结**:Flash Attention 通过优化 Attention 的计算方式和内存访问模式,在不损失精度的前提下大幅提升速度、降低显存,是现在所有大模型的标配。 🧠 **简单思维模型**:Flash Attention 就像**整理书桌**,原来把所有书都摊在桌上(占满内存),现在把书分堆,只把正在看的那堆拿出来,既快又省空间。 ⚠️ **初学者常见错误**: 1. Flash Attention 只加速 —— 其实主要是省显存 2. 所有硬件都支持 —— 需要 Ampere 及以上架构 3. 一定比普通 Attention 快 —— 极短序列可能差不多 🎯 **小练习 / 项目**: 分别用普通 Attention 和 Flash Attention 跑一个长序列(4096 tokens),对比显存占用和计算时间。 --- ### Speculative decoding(投机解码) **什么是投机解码?** 投机解码用一个小模型 \&\#34;猜\&\#34; 接下来的 N 个词,然后大模型一次性验证,猜对了就跳过,猜错了再修正。 **工作流程**: 1. 小模型(草稿模型)快速生成 k 个候选词 2. 大模型(目标模型)并行验证这 k 个词 3. 猜对的都保留,猜错的从那里重新开始 4. 平均每次能生成 2\-3 个词 **效果**: - 速度提升 2\-3 倍 - 输出完全和原模型一样(无质量损失) - 不需要重新训练 ✅ **简短总结**:投机解码用小模型快速 \&\#34;猜\&\#34; 多个词,大模型一次性验证,在不损失质量的前提下大幅提升生成速度,是推理加速的黑科技。 🧠 **简单思维模型**:投机解码就像**学霸帮学渣检查作业**,学渣(小模型)快速写完几道题,学霸(大模型)一眼检查完,对的就过,错的改,比学霸一道一道做快多了。 ⚠️ **初学者常见错误**: 1. 会改变输出质量 —— 数学证明和原模型分布完全一致 2. 随便什么小模型都行 —— 需要和大模型分布接近 3. 加速比无上限 —— 通常 2\-3 倍是极限 🎯 **小练习 / 项目**: 用 llama\.cpp 开启投机解码,用 7B 模型做草稿模型验证 13B 模型,对比普通解码的 tokens / 秒速度。 --- ### Inference optimization(推理优化) **什么是推理优化?** 推理优化是各种让模型跑更快、用更少显存、支持更多并发用户的技术总称。 **主要优化方向**: 1. **算法层面**:KV Cache、Flash Attention、投机解码 2. **量化**:4bit/8bit 量化 3. **编译优化**:vLLM、TensorRT\-LLM 4. **批处理**:把多个请求合并处理 5. **连续批处理**:动态加入新请求 **优化目标**: - **延迟**:单个用户的响应速度 - **吞吐量**:每秒能处理的 token 数 - **成本**:每 1000token 多少钱 ✅ **简短总结**:推理优化包含算法、量化、编译、批处理等多种技术,目标是降低延迟、提高吞吐量、降低成本,是 AI 产品落地的关键。 🧠 **简单思维模型**:推理优化就像**开餐厅优化翻台率**,通过各种方法让同样大的店(GPU)能接待更多客人(用户),上菜更快(延迟低)。 ⚠️ **初学者常见错误**: 1. 只优化速度 —— 吞吐量和成本同样重要 2. 优化过度影响质量 —— 要在质量和速度间平衡 3. 一种优化就够了 —— 通常需要多种技术组合 🎯 **小练习 / 项目**: 列出你能想到的所有推理优化技术,给每个技术打分:速度提升多少、显存节省多少、质量损失多少、实现难度多少。 --- ### Model serving(模型服务) **什么是模型服务?** 模型服务是把训练好的模型包装成 API,让用户通过网络调用,是大模型商业化的核心。 **模型服务做什么**: 1. **API 接口**:HTTP/gRPC 接口 2. **批处理调度**:智能合并请求 3. **负载均衡**:多 GPU / 多机器分配 4. **限流监控**:QPS 限制、日志监控 5. **弹性伸缩**:自动扩缩容 **常用框架**: - vLLM:开源,性能好 - Text Generation Inference \(TGI\):Hugging Face - TensorRT\-LLM:NVIDIA - vLLM \> TGI \> 原生 transformers ✅ **简短总结**:模型服务将训练好的模型包装成可网络调用的 API,处理批处理、负载均衡、监控等工程问题,是大模型从 demo 到产品的关键一步。 🧠 **简单思维模型**:模型服务就像**外卖平台**,厨师(模型)在厨房做饭,平台接订单、调度、送餐、收钱,用户不用去厨房直接点餐就行。 ⚠️ **初学者常见错误**: 1. 直接用 transformers 做服务 —— 性能差 10 倍以上 2. 不做批处理 ——GPU 利用率极低 3. 忽略监控 —— 出问题不知道 🎯 **小练习 / 项目**: 用 vLLM 启动一个模型服务,然后用 ab 或 wrk 做压力测试,看每秒能处理多少请求,GPU 利用率是多少。 --- ### Batch inference(批量推理) **什么是批量推理?** 批量推理是把多个请求放在一起同时处理,利用 GPU 的并行计算能力,大大提高效率。 **为什么批量处理更快?** - GPU 是并行计算,算 1 个和算 8 个时间差不多 - 单独处理:8 个请求 = 8 × 时间 - 批量处理:8 个请求 ≈ 1 × 时间 **两种批处理**: 1. **静态批处理**:攒够 N 个请求一起处理 2. **连续批处理(Continuous Batching)**:不用等,处理完一个就补一个新的 ✅ **简短总结**:批量推理将多个请求合并同时处理,充分利用 GPU 并行能力,大幅提高吞吐量、降低单 token 成本,是高并发服务的必备。 🧠 **简单思维模型**:批量推理就像**公交车 vs 出租车**,出租车(单请求)一次拉一个人,公交车(批量)一次拉几十人,人均成本低多了。 ⚠️ **初学者常见错误**: 1. 批量越大越好 —— 太大反而变慢,通常 32\-64 最优 2. 只看吞吐量 —— 批量太大会增加延迟 3. 静态批处理就够了 —— 连续批处理好太多 🎯 **小练习 / 项目**: 写一个简单脚本,分别用 batch size=1, 4, 8, 16, 32 跑推理,记录每个 batch 的时间和吞吐量,画个曲线找最优值。 --- ### GPU basics(GPU 基础) **什么是 GPU?** GPU = Graphics Processing Unit,图形处理器,现在是 AI 训练和推理的核心硬件。 **GPU vs CPU**: - **CPU**:几个强大的核心,擅长复杂逻辑,串行计算 - **GPU**:几千个弱小的核心,擅长简单重复,并行计算 **AI 常用 GPU**: - **消费级**:RTX 3090/4090(24GB) - **数据中心**:A100(40/80GB)、H100(80GB) - **性价比**:RTX 4090 \> A100 \> H100 **关键指标**: - 显存大小(最重要) - 显存带宽 - TFLOPS(算力) ✅ **简短总结**:GPU 通过数千个核心的大规模并行计算能力,成为 AI 训练和推理的核心硬件,显存大小是选择 GPU 的第一指标。 🧠 **简单思维模型**:CPU 是**一个数学教授**,算难题很快;GPU 是**10000 个小学生**,每人算一道简单题,10000 道题一起算完比教授快多了。 ⚠️ **初学者常见错误**: 1. 只看算力不看显存 —— 显存不够再强也没用 2. 消费级卡不能做训练 ——4090 训练 7B 模型很好用 3. 越贵的卡性价比越高 ——4090 是性价比之王 🎯 **小练习 / 项目**: 做一个 GPU 对比表,列出 RTX 3090、4090、A10、A100、H100 的:显存、显存带宽、FP16 算力、价格、每 GB 显存成本。 --- ### VRAM basics(显存基础) **什么是 VRAM?** VRAM = Video RAM,显卡专用内存,是 GPU 能同时放多少数据的决定因素。 **模型显存占用估算**: - **FP16**:参数 × 2 字节 = 模型大小 - 7B 模型:14GB - 13B 模型:26GB - 70B 模型:140GB - **4bit 量化**:参数 × 0\.5 字节 - 7B 模型:3\.5GB - 13B 模型:6\.5GB - 70B 模型:35GB **显存还用来放什么**: 1. 模型权重 2. KV Cache 3. 中间激活值 4. 优化器状态(训练时) ✅ **简短总结**:VRAM 是 GPU 的专用内存,决定了能运行多大的模型,模型大小 = 参数量 × 每个参数字节数,量化可以大幅减少显存需求。 🧠 **简单思维模型**:VRAM 就像**工作台大小**,工作台越大,能同时放的材料(模型参数、中间结果)越多,能做的活越复杂。 ⚠️ **初学者常见错误**: 1. 只算模型大小 ——KV Cache 和激活值也要占显存 2. 24GB 刚好放 13B FP16—— 实际需要留余量 3. 显存占满才好 —— 留 10\-20% 余量更稳定 🎯 **小练习 / 项目**: 用 nvidia\-smi 监控,分别加载 7B 模型的 FP16、8bit、4bit 版本,记录每个的显存占用,和理论值对比。 --- ### Latency vs quality tradeoffs(延迟与质量权衡) **什么是权衡?** AI 推理中,速度和质量通常是矛盾的,要根据场景做取舍。 **常见的权衡点**: |技术|质量影响|速度提升|适用场景| |---|---|---|---| |4bit 量化|极小|2x|几乎所有场景| |8bit 量化|几乎无|1\.5x|所有场景| |投机解码|无|2\-3x|所有场景| |更小的模型|有损失|5\-10x|简单任务| |减少 beam search|略有损失|2x|聊天场景| |降低上下文|可能损失|显著|短对话| **怎么选?** - **聊天机器人**:延迟优先,用户等不及 - **写作 / 总结**:质量优先,慢一点没关系 - **批量处理**:吞吐量优先 ✅ **简短总结**:推理中速度和质量通常需要权衡,不同场景优先级不同,聊天要快,复杂任务要质量,批量处理要吞吐量。 🧠 **简单思维模型**:延迟质量权衡就像**做饭**,快餐(快但一般)、家常菜(平衡)、米其林(慢但好吃),不同客人需求不同。 ⚠️ **初学者常见错误**: 1. 什么都要最好 —— 又快又好又便宜不可能 2. 所有场景用同一个配置 —— 要分场景优化 3. 只看 benchmark—— 真实用户体验最重要 🎯 **小练习 / 项目**: 为三个场景设计优化方案:1)客服聊天机器人;2)文档总结工具;3)离线批量数据处理,分别说明你会选择什么模型、什么量化、什么优化技术。 --- ## Local AI Ecosystem(本地 AI 生态) ### llama\.cpp **什么是 llama\.cpp?** llama\.cpp 是一个纯 C/C\+\+ 实现的 LLM 推理引擎,由 Georgi Gerganov 开发,开启了本地 AI 革命。 **核心特点**: 1. **纯 C 实现**:无依赖,到处能跑 2. **量化支持**:GGUF 格式,2bit\-16bit 3. **跨平台**:Windows/Mac/Linux/ 手机 / 浏览器 4. **CPU 优先**:没有 GPU 也能跑 5. **极快**:手工优化的 SIMD 代码 **为什么重要?** - 第一个让普通人能在自己电脑跑大模型的项目 - 整个本地 AI 生态的基础 - Ollama、LM Studio 都是基于它 ✅ **简短总结**:llama\.cpp 是纯 C 实现的轻量级 LLM 推理引擎,跨平台、支持 CPU、速度极快,是整个本地运行大模型生态的基石。 🧠 **简单思维模型**:llama\.cpp 就像**汽车的发动机**,Ollama、LM Studio 这些是车的外壳和内饰,核心发动机都是 llama\.cpp。 ⚠️ **初学者常见错误**: 1. 只支持 LLaMA—— 现在支持所有主流模型 2. CPU 很慢 —— 苹果硅上 CPU 推理很快 3. 不支持 GPU—— 现在支持 CUDA/Metal/ROCm 🎯 **小练习 / 项目**: 去[github\.com/ggerganov/llama\.cpp](https://github.com/ggerganov/llama.cpp)下载,编译,然后跑一个 7B Q4 模型,体验一下纯 CPU 跑大模型。 --- ### Ollama **什么是 Ollama?** Ollama 是最流行的本地运行大模型工具,把 llama\.cpp 包装得非常易用,一键下载运行。 **核心功能**: 1. **一键安装**:一条命令安装 2. **模型库**:`ollama run llama2` 自动下载运行 3. **OpenAI 兼容 API**:直接替换 OpenAI 接口 4. **多模型管理**:本地管理多个模型 5. **支持 LoRA**:动态加载 LoRA **常用命令**: ```bash ollama run llama2 # 运行Llama 2 ollama run mistral # 运行Mistral ollama list # 列出本地模型 ollama pull qwen:7b # 下载模型 ``` ✅ **简短总结**:Ollama 将复杂的本地大模型运行简化到一条命令,自带模型库和 API 接口,是普通用户体验本地 AI 的首选工具。 🧠 **简单思维模型**:Ollama 就像**手机的应用商店**,搜一下,点一下,APP(模型)就装好了直接用,不用管编译、依赖这些技术细节。 ⚠️ **初学者常见错误**: 1. Ollama 只能跑小模型 —— 现在支持 70B 甚至更大 2. 只能命令行用 —— 有很多 GUI 前端 3. 性能比原生 llama\.cpp 差 —— 几乎没差别 🎯 **小练习 / 项目**: 安装 Ollama,然后依次运行 llama2、mistral、qwen 三个模型,和它们对话,体验不同模型的特点,然后用 curl 调用它的 API。 --- ### vLLM **什么是 vLLM?** vLLM 是 UC Berkeley 开发的高性能 LLM 推理和服务引擎,是现在性能最好的开源服务框架。 **核心技术**: 1. **PagedAttention**:像操作系统虚拟内存一样管理 KV Cache 2. **连续批处理**:不用等,动态加入请求 3. **极致优化**:比 transformers 快 10\-20 倍 4. **OpenAI 兼容 API**:直接替换 **性能对比**: - transformers:1x - TGI:3\-5x - vLLM:10\-20x ✅ **简短总结**:vLLM 通过 PagedAttention 和连续批处理等创新,提供了目前最快的 LLM 推理和服务性能,是生产部署的首选。 🧠 **简单思维模型**:vLLM 就像**高铁**,transformers 是绿皮火车,TGI 是动车,vLLM 是又快又稳载客量又大的高铁。 ⚠️ **初学者常见错误**: 1. 只适合大部署 —— 个人用也比 transformers 快很多 2. 只支持 NVIDIA—— 现在也支持 AMD 和苹果硅 3. 部署很复杂 —— 一条命令就启动了 🎯 **小练习 / 项目**: 用 pip 安装 vLLM,启动一个 OpenAI 兼容的 API 服务,然后用同样的请求分别调用 vLLM 和原生 transformers,对比 tokens/s 速度。 --- ### MLX **什么是 MLX?** MLX 是苹果公司推出的苹果硅芯片专用的机器学习框架,专为 M 系列芯片优化。 **核心优势**: 1. **统一内存**:CPU/GPU 共享内存,不用拷贝 2. **苹果硅优化**:充分利用 Neon、Metal 3. **原生支持**:M1/M2/M3 都能发挥最大性能 4. **简单易用**:API 类似 NumPy/PyTorch **能做什么**: - 快速推理 LLM - 本地微调(QLoRA) - 训练小模型 - M2 Ultra 能跑 70B 模型! ✅ **简短总结**:MLX 是苹果专为 M 系列芯片优化的机器学习框架,充分利用苹果硅的统一内存架构,在 Mac 上跑大模型速度远超其他框架。 🧠 **简单思维模型**:MLX 就像**苹果芯片的专属司机**,最懂这辆车的性能,能开出最快最稳的速度,其他通用司机(PyTorch)做不到。 ⚠️ **初学者常见错误**: 1. 所有 Mac 都一样 —— 芯片越强差别越大 2. 和 PyTorch 速度差不多 ——MLX 快 2\-3 倍 3. 只能推理 —— 也能训练和微调 🎯 **小练习 / 项目**: 如果你有 Mac,安装 mlx\-examples,跑一个 Llama 7B 模型,对比 Ollama 的速度,感受苹果硅的威力。 --- ### Hugging Face **什么是 Hugging Face?** Hugging Face 是 AI 界的 GitHub,最大的模型和数据集社区,也是最重要的开源 AI 基础设施。 **核心产品**: 1. **Hub**:模型仓库,几十万个模型 2. **Transformers**:最流行的模型库 3. **Datasets**:数据集库 4. **Accelerate**:分布式训练 5. **PEFT**:参数高效微调 6. **TRL**:强化学习 / 对齐 **为什么重要?** - 几乎所有开源模型都上传到 Hugging Face - 所有 AI 开发者都用它的工具 - 整个开源 AI 生态的中心 ✅ **简短总结**:Hugging Face 是开源 AI 的中心枢纽,提供模型仓库、模型库、数据集等核心工具,是每个 AI 开发者的必备工具。 🧠 **简单思维模型**:Hugging Face 就像**AI 界的淘宝**,模型是商品,大家都在上面开店卖货(上传模型),买家(开发者)在上面挑货,还有各种配套工具。 ⚠️ **初学者常见错误**: 1. 只是模型下载站 —— 工具生态才是核心 2. 模型都能用 —— 很多模型质量很差 3. 只能用它的库 —— 也可以直接下载权重 🎯 **小练习 / 项目**: 注册 Hugging Face 账号,浏览 Models 页面,按下载量排序,看看最流行的模型都是哪些,然后用 transformers 库加载其中一个。 --- ### Unsloth **什么是 Unsloth?** Unsloth 是一个专注于微调速度优化的库,能让 LoRA 微调速度提升 2\-5 倍,显存减少一半。 **核心优化**: 1. **手工优化的内核**:每个算子都手动优化 2. **降精度优化**:聪明的混合精度 3. **减少冗余计算**:去掉不必要的计算 4. **支持所有主流模型**:Llama、Mistral、Qwen 等 **效果**: - 微调 7B 模型:RTX 3090 上 1 小时搞定 - 微调 13B 模型:24GB 显存足够 - 零质量损失 ✅ **简短总结**:Unsloth 通过高度优化的内核,让 LoRA 微调速度提升数倍、显存减半,是现在个人用户微调大模型的首选工具。 🧠 **简单思维模型**:Unsloth 就像**给汽车刷 ECU**,发动机还是那个发动机,但优化后马力大增,油耗还降低了,不用换硬件。 ⚠️ **初学者常见错误**: 1. 只有微调快 —— 推理也优化了 2. 会损失质量 —— 官方证明和原生 LoRA 完全一致 3. 只支持少数模型 —— 现在支持所有主流开源模型 🎯 **小练习 / 项目**: 用 Unsloth 和用原生 peft 分别微调同一个模型,记录训练时间和显存占用,对比速度差异。 --- ### Axolotl **什么是 Axolotl?** Axolotl 是一个一站式微调工具,把各种微调技术(LoRA、QLoRA、全参数)包装成配置文件驱动的工具。 **核心特点**: 1. **配置驱动**:写个 yaml 配置就开始微调 2. **支持所有方法**:LoRA、QLoRA、全参数 3. **支持所有模型**:几乎所有开源模型 4. **最佳实践**:内置各种优化和最佳实践 5. **多卡训练**:开箱即用分布式训练 **简单示例**: ```yaml base_model: mistralai/Mistral-7B-v0.1 load_in_4bit: true adapter: lora lora_r: 8 lora_alpha: 16 datasets: - path: my_dataset.jsonl ``` ✅ **简短总结**:Axolotl 是一站式微调框架,通过配置文件统一各种微调方法,内置最佳实践,不用写代码就能专业地微调模型。 🧠 **简单思维模型**:Axolotl 就像**单反相机的自动模式**,专业摄影师(专家)调好所有参数,你只要按快门就行,不用懂每个参数怎么设。 ⚠️ **初学者常见错误**: 1. 太复杂不适合新手 —— 反而比自己写代码简单 2. 只能微调 —— 也能做继续预训练 3. 性能不如手写 —— 内置的优化比大部分人写得好 🎯 **小练习 / 项目**: 安装 Axolotl,找一个示例配置文件,修改成你自己的数据集,跑一个微调,对比自己写代码的体验。 --- ### PEFT **什么是 PEFT?** PEFT = Parameter\-Efficient Fine\-Tuning,Hugging Face 官方的参数高效微调库。 **支持的方法**: 1. **LoRA**:最常用 2. **AdaLoRA**:自适应 LoRA 3. **IA3**:Infused Adapter 4. **Prefix Tuning**:前缀微调 5. **Prompt Tuning**:提示微调 **优点**: - 官方维护,质量有保证 - 和 transformers 无缝集成 - 支持所有模型 - 文档完善 ✅ **简短总结**:PEFT 是 Hugging Face 官方的参数高效微调库,统一了 LoRA 等各种高效微调方法,和 transformers 无缝集成,是微调的标准工具。 🧠 **简单思维模型**:PEFT 就像**万能转接头**,不管什么模型(手机),都能用这个转接头接上各种适配器(LoRA 等),不用改原模型。 ⚠️ **初学者常见错误**: 1. 只有 LoRA—— 还有很多其他方法 2. 只能 transformers 用 —— 也能给其他库用 3. 速度最快 ——Unsloth 优化版更快 🎯 **小练习 / 项目**: 用 PEFT 写一个最简单的 LoRA 微调脚本,10 行代码以内,理解 PEFT 的基本用法。 --- ### TRL library **什么是 TRL?** TRL = Transformer Reinforcement Learning,Hugging Face 官方的强化学习和对齐库。 **支持的方法**: 1. **SFT**:监督微调 2. **Reward Modeling**:奖励模型训练 3. **PPO**:近端策略优化 4. **DPO**:直接偏好优化 5. **KTO**:新知识对齐 **为什么用 TRL?** - 官方实现,正确可靠 - 各种对齐方法的标准实现 - 和 PEFT、transformers 集成 - 不用自己从头写 DPO ✅ **简短总结**:TRL 是 Hugging Face 官方的模型对齐库,提供 SFT、DPO、PPO 等各种对齐方法的标准实现,是做模型对齐的首选。 🧠 **简单思维模型**:TRL 就像**驾校的标准课程**,SFT 是科目一,DPO 是科目二科目三,按标准流程学,就能拿到驾照(对齐好的模型)。 ⚠️ **初学者常见错误**: 1. 只能做 RL—— 现在 DPO 才是主力 2. 很难用 —— 封装得很好,简单易用 3. 只有 RLHF—— 支持各种新的对齐方法 🎯 **小练习 / 项目**: 用 TRL 的 DPOTrainer,跑一个最简单的 DPO 例子,理解偏好数据格式和训练流程。 --- ## 📚 目录 1. \[Foundations(基础)\]\(\#foundations基础\) 2. \[Datasets \& Training(数据集与训练)\]\(\#datasets\-\-training数据集与训练\) 3. \[Fine\-Tuning(微调)\]\(\#fine\-tuning微调\) 4. \[Inference \& Optimization(推理与优化)\]\(\#inference\-\-optimization推理与优化\) 5. \[Local AI Ecosystem(本地 AI 生态)\]\(\#local\-ai\-ecosystem本地ai生态\) 6. \[RAG \& Memory(检索增强与记忆)\]\(\#rag\-\-memory检索增强与记忆\) 7. \[Agents \& Workflows(智能体与工作流)\]\(\#agents\-\-workflows智能体与工作流\) 8. \[Model Types(模型类型)\]\(\#model\-types模型类型\) 9. \[Deployment(部署)\]\(\#deployment部署\) 10. \[Evaluation(评估)\]\(\#evaluation评估\) 11. \[Real\-World Skills(实战技能)\]\(\#real\-world\-skills实战技能\) ## Inference \& Optimization(推理与优化) ### KV cache **什么是 KV Cache?** KV Cache 是 Key\-Value 缓存,是加速大模型推理的最重要技术之一,避免重复计算。 **工作原理**: - Transformer 每层都要计算 Attention 的 K(键)和 V(值) - 生成第 1 个词:计算所有 token 的 K,V - 生成第 2 个词:不用重新算前面的,只算新 token 的 K,V,缓存的直接用 - 以此类推\.\.\. **效果**: - 速度提升 2\-3 倍 - 显存占用稍微增加 - 生成越长,加速越明显 ✅ **简短总结**:KV Cache 缓存 Attention 计算中的 Key 和 Value,避免生成每个 token 时都重新计算所有前面的 token,是推理加速的基础技术。 🧠 **简单思维模型**:KV Cache 就像**做数学题记中间结果**,算第二步时不用从头算第一步,直接用第一步算好的结果,大大加快速度。 ⚠️ **初学者常见错误**: 1. 以为 KV Cache 免费 —— 会增加一些显存占用 2. 所有场景都开 KV Cache—— 极短的生成反而可能变慢 3. 不理解 Cache 的序列限制 —— 超过窗口需要重建缓存 🎯 **小练习 / 项目**: 运行同一个模型,分别开启和关闭 KV Cache,生成长文本(比如 1000 字),对比两者的生成速度差异。 --- ### Flash Attention **什么是 Flash Attention?** Flash Attention 是斯坦福大学提出的 Attention 加速算法,通过优化计算顺序和内存访问,大幅提升速度并降低显存。 **核心优化**: 1. **Tiling(分块计算)**:把大矩阵分成小块,一块块算 2. **重计算**:不用存所有中间结果,需要时重新算 3. **IO 感知**:优化 GPU SRAM 和 HBM 之间的数据传输 **效果**: - 速度提升 2\-4 倍 - 显存减少 50\-80% - 长序列效果尤其明显 ✅ **简短总结**:Flash Attention 通过优化 Attention 的计算方式和内存访问模式,在不损失精度的前提下大幅提升速度、降低显存,是现在所有大模型的标配。 🧠 **简单思维模型**:Flash Attention 就像**整理书桌**,原来把所有书都摊在桌上(占满内存),现在把书分堆,只把正在看的那堆拿出来,既快又省空间。 ⚠️ **初学者常见错误**: 1. Flash Attention 只加速 —— 其实主要是省显存 2. 所有硬件都支持 —— 需要 Ampere 及以上架构 3. 一定比普通 Attention 快 —— 极短序列可能差不多 🎯 **小练习 / 项目**: 分别用普通 Attention 和 Flash Attention 跑一个长序列(4096 tokens),对比显存占用和计算时间。 --- ### Speculative decoding(投机解码) **什么是投机解码?** 投机解码用一个小模型 \&\#34;猜\&\#34; 接下来的 N 个词,然后大模型一次性验证,猜对了就跳过,猜错了再修正。 **工作流程**: 1. 小模型(草稿模型)快速生成 k 个候选词 2. 大模型(目标模型)并行验证这 k 个词 3. 猜对的都保留,猜错的从那里重新开始 4. 平均每次能生成 2\-3 个词 **效果**: - 速度提升 2\-3 倍 - 输出完全和原模型一样(无质量损失) - 不需要重新训练 ✅ **简短总结**:投机解码用小模型快速 \&\#34;猜\&\#34; 多个词,大模型一次性验证,在不损失质量的前提下大幅提升生成速度,是推理加速的黑科技。 🧠 **简单思维模型**:投机解码就像**学霸帮学渣检查作业**,学渣(小模型)快速写完几道题,学霸(大模型)一眼检查完,对的就过,错的改,比学霸一道一道做快多了。 ⚠️ **初学者常见错误**: 1. 会改变输出质量 —— 数学证明和原模型分布完全一致 2. 随便什么小模型都行 —— 需要和大模型分布接近 3. 加速比无上限 —— 通常 2\-3 倍是极限 🎯 **小练习 / 项目**: 用 llama\.cpp 开启投机解码,用 7B 模型做草稿模型验证 13B 模型,对比普通解码的 tokens / 秒速度。 --- ### Inference optimization(推理优化) **什么是推理优化?** 推理优化是各种让模型跑更快、用更少显存、支持更多并发用户的技术总称。 **主要优化方向**: 1. **算法层面**:KV Cache、Flash Attention、投机解码 2. **量化**:4bit/8bit 量化 3. **编译优化**:vLLM、TensorRT\-LLM 4. **批处理**:把多个请求合并处理 5. **连续批处理**:动态加入新请求 **优化目标**: - **延迟**:单个用户的响应速度 - **吞吐量**:每秒能处理的 token 数 - **成本**:每 1000token 多少钱 ✅ **简短总结**:推理优化包含算法、量化、编译、批处理等多种技术,目标是降低延迟、提高吞吐量、降低成本,是 AI 产品落地的关键。 🧠 **简单思维模型**:推理优化就像**开餐厅优化翻台率**,通过各种方法让同样大的店(GPU)能接待更多客人(用户),上菜更快(延迟低)。 ⚠️ **初学者常见错误**: 1. 只优化速度 —— 吞吐量和成本同样重要 2. 优化过度影响质量 —— 要在质量和速度间平衡 3. 一种优化就够了 —— 通常需要多种技术组合 🎯 **小练习 / 项目**: 列出你能想到的所有推理优化技术,给每个技术打分:速度提升多少、显存节省多少、质量损失多少、实现难度多少。 --- ### Model serving(模型服务) **什么是模型服务?** 模型服务是把训练好的模型包装成 API,让用户通过网络调用,是大模型商业化的核心。 **模型服务做什么**: 1. **API 接口**:HTTP/gRPC 接口 2. **批处理调度**:智能合并请求 3. **负载均衡**:多 GPU / 多机器分配 4. **限流监控**:QPS 限制、日志监控 5. **弹性伸缩**:自动扩缩容 **常用框架**: - vLLM:开源,性能好 - Text Generation Inference \(TGI\):Hugging Face - TensorRT\-LLM:NVIDIA - vLLM \> TGI \> 原生 transformers ✅ **简短总结**:模型服务将训练好的模型包装成可网络调用的 API,处理批处理、负载均衡、监控等工程问题,是大模型从 demo 到产品的关键一步。 🧠 **简单思维模型**:模型服务就像**外卖平台**,厨师(模型)在厨房做饭,平台接订单、调度、送餐、收钱,用户不用去厨房直接点餐就行。 ⚠️ **初学者常见错误**: 1. 直接用 transformers 做服务 —— 性能差 10 倍以上 2. 不做批处理 ——GPU 利用率极低 3. 忽略监控 —— 出问题不知道 🎯 **小练习 / 项目**: 用 vLLM 启动一个模型服务,然后用 ab 或 wrk 做压力测试,看每秒能处理多少请求,GPU 利用率是多少。 --- ### Batch inference(批量推理) **什么是批量推理?** 批量推理是把多个请求放在一起同时处理,利用 GPU 的并行计算能力,大大提高效率。 **为什么批量处理更快?** - GPU 是并行计算,算 1 个和算 8 个时间差不多 - 单独处理:8 个请求 = 8 × 时间 - 批量处理:8 个请求 ≈ 1 × 时间 **两种批处理**: 1. **静态批处理**:攒够 N 个请求一起处理 2. **连续批处理(Continuous Batching)**:不用等,处理完一个就补一个新的 ✅ **简短总结**:批量推理将多个请求合并同时处理,充分利用 GPU 并行能力,大幅提高吞吐量、降低单 token 成本,是高并发服务的必备。 🧠 **简单思维模型**:批量推理就像**公交车 vs 出租车**,出租车(单请求)一次拉一个人,公交车(批量)一次拉几十人,人均成本低多了。 ⚠️ **初学者常见错误**: 1. 批量越大越好 —— 太大反而变慢,通常 32\-64 最优 2. 只看吞吐量 —— 批量太大会增加延迟 3. 静态批处理就够了 —— 连续批处理好太多 🎯 **小练习 / 项目**: 写一个简单脚本,分别用 batch size=1, 4, 8, 16, 32 跑推理,记录每个 batch 的时间和吞吐量,画个曲线找最优值。 --- ### GPU basics(GPU 基础) **什么是 GPU?** GPU = Graphics Processing Unit,图形处理器,现在是 AI 训练和推理的核心硬件。 **GPU vs CPU**: - **CPU**:几个强大的核心,擅长复杂逻辑,串行计算 - **GPU**:几千个弱小的核心,擅长简单重复,并行计算 **AI 常用 GPU**: - **消费级**:RTX 3090/4090(24GB) - **数据中心**:A100(40/80GB)、H100(80GB) - **性价比**:RTX 4090 \> A100 \> H100 **关键指标**: - 显存大小(最重要) - 显存带宽 - TFLOPS(算力) ✅ **简短总结**:GPU 通过数千个核心的大规模并行计算能力,成为 AI 训练和推理的核心硬件,显存大小是选择 GPU 的第一指标。 🧠 **简单思维模型**:CPU 是**一个数学教授**,算难题很快;GPU 是**10000 个小学生**,每人算一道简单题,10000 道题一起算完比教授快多了。 ⚠️ **初学者常见错误**: 1. 只看算力不看显存 —— 显存不够再强也没用 2. 消费级卡不能做训练 ——4090 训练 7B 模型很好用 3. 越贵的卡性价比越高 ——4090 是性价比之王 🎯 **小练习 / 项目**: 做一个 GPU 对比表,列出 RTX 3090、4090、A10、A100、H100 的:显存、显存带宽、FP16 算力、价格、每 GB 显存成本。 --- ### VRAM basics(显存基础) **什么是 VRAM?** VRAM = Video RAM,显卡专用内存,是 GPU 能同时放多少数据的决定因素。 **模型显存占用估算**: - **FP16**:参数 × 2 字节 = 模型大小 - 7B 模型:14GB - 13B 模型:26GB - 70B 模型:140GB - **4bit 量化**:参数 × 0\.5 字节 - 7B 模型:3\.5GB - 13B 模型:6\.5GB - 70B 模型:35GB **显存还用来放什么**: 1. 模型权重 2. KV Cache 3. 中间激活值 4. 优化器状态(训练时) ✅ **简短总结**:VRAM 是 GPU 的专用内存,决定了能运行多大的模型,模型大小 = 参数量 × 每个参数字节数,量化可以大幅减少显存需求。 🧠 **简单思维模型**:VRAM 就像**工作台大小**,工作台越大,能同时放的材料(模型参数、中间结果)越多,能做的活越复杂。 ⚠️ **初学者常见错误**: 1. 只算模型大小 ——KV Cache 和激活值也要占显存 2. 24GB 刚好放 13B FP16—— 实际需要留余量 3. 显存占满才好 —— 留 10\-20% 余量更稳定 🎯 **小练习 / 项目**: 用 nvidia\-smi 监控,分别加载 7B 模型的 FP16、8bit、4bit 版本,记录每个的显存占用,和理论值对比。 --- ### Latency vs quality tradeoffs(延迟与质量权衡) **什么是权衡?** AI 推理中,速度和质量通常是矛盾的,要根据场景做取舍。 **常见的权衡点**: |技术|质量影响|速度提升|适用场景| |---|---|---|---| |4bit 量化|极小|2x|几乎所有场景| |8bit 量化|几乎无|1\.5x|所有场景| |投机解码|无|2\-3x|所有场景| |更小的模型|有损失|5\-10x|简单任务| |减少 beam search|略有损失|2x|聊天场景| |降低上下文|可能损失|显著|短对话| **怎么选?** - **聊天机器人**:延迟优先,用户等不及 - **写作 / 总结**:质量优先,慢一点没关系 - **批量处理**:吞吐量优先 ✅ **简短总结**:推理中速度和质量通常需要权衡,不同场景优先级不同,聊天要快,复杂任务要质量,批量处理要吞吐量。 🧠 **简单思维模型**:延迟质量权衡就像**做饭**,快餐(快但一般)、家常菜(平衡)、米其林(慢但好吃),不同客人需求不同。 ⚠️ **初学者常见错误**: 1. 什么都要最好 —— 又快又好又便宜不可能 2. 所有场景用同一个配置 —— 要分场景优化 3. 只看 benchmark—— 真实用户体验最重要 🎯 **小练习 / 项目**: 为三个场景设计优化方案:1)客服聊天机器人;2)文档总结工具;3)离线批量数据处理,分别说明你会选择什么模型、什么量化、什么优化技术。 --- ## Local AI Ecosystem(本地 AI 生态) ### llama\.cpp **什么是 llama\.cpp?** llama\.cpp 是一个纯 C/C\+\+ 实现的 LLM 推理引擎,由 Georgi Gerganov 开发,开启了本地 AI 革命。 **核心特点**: 1. **纯 C 实现**:无依赖,到处能跑 2. **量化支持**:GGUF 格式,2bit\-16bit 3. **跨平台**:Windows/Mac/Linux/ 手机 / 浏览器 4. **CPU 优先**:没有 GPU 也能跑 5. **极快**:手工优化的 SIMD 代码 **为什么重要?** - 第一个让普通人能在自己电脑跑大模型的项目 - 整个本地 AI 生态的基础 - Ollama、LM Studio 都是基于它 ✅ **简短总结**:llama\.cpp 是纯 C 实现的轻量级 LLM 推理引擎,跨平台、支持 CPU、速度极快,是整个本地运行大模型生态的基石。 🧠 **简单思维模型**:llama\.cpp 就像**汽车的发动机**,Ollama、LM Studio 这些是车的外壳和内饰,核心发动机都是 llama\.cpp。 ⚠️ **初学者常见错误**: 1. 只支持 LLaMA—— 现在支持所有主流模型 2. CPU 很慢 —— 苹果硅上 CPU 推理很快 3. 不支持 GPU—— 现在支持 CUDA/Metal/ROCm 🎯 **小练习 / 项目**: 去[github\.com/ggerganov/llama\.cpp](https://github.com/ggerganov/llama.cpp)下载,编译,然后跑一个 7B Q4 模型,体验一下纯 CPU 跑大模型。 --- ### Ollama **什么是 Ollama?** Ollama 是最流行的本地运行大模型工具,把 llama\.cpp 包装得非常易用,一键下载运行。 **核心功能**: 1. **一键安装**:一条命令安装 2. **模型库**:`ollama run llama2` 自动下载运行 3. **OpenAI 兼容 API**:直接替换 OpenAI 接口 4. **多模型管理**:本地管理多个模型 5. **支持 LoRA**:动态加载 LoRA **常用命令**: ```bash ollama run llama2 # 运行Llama 2 ollama run mistral # 运行Mistral ollama list # 列出本地模型 ollama pull qwen:7b # 下载模型 ``` ✅ **简短总结**:Ollama 将复杂的本地大模型运行简化到一条命令,自带模型库和 API 接口,是普通用户体验本地 AI 的首选工具。 🧠 **简单思维模型**:Ollama 就像**手机的应用商店**,搜一下,点一下,APP(模型)就装好了直接用,不用管编译、依赖这些技术细节。 ⚠️ **初学者常见错误**: 1. Ollama 只能跑小模型 —— 现在支持 70B 甚至更大 2. 只能命令行用 —— 有很多 GUI 前端 3. 性能比原生 llama\.cpp 差 —— 几乎没差别 🎯 **小练习 / 项目**: 安装 Ollama,然后依次运行 llama2、mistral、qwen 三个模型,和它们对话,体验不同模型的特点,然后用 curl 调用它的 API。 --- ### vLLM **什么是 vLLM?** vLLM 是 UC Berkeley 开发的高性能 LLM 推理和服务引擎,是现在性能最好的开源服务框架。 **核心技术**: 1. **PagedAttention**:像操作系统虚拟内存一样管理 KV Cache 2. **连续批处理**:不用等,动态加入请求 3. **极致优化**:比 transformers 快 10\-20 倍 4. **OpenAI 兼容 API**:直接替换 **性能对比**: - transformers:1x - TGI:3\-5x - vLLM:10\-20x ✅ **简短总结**:vLLM 通过 PagedAttention 和连续批处理等创新,提供了目前最快的 LLM 推理和服务性能,是生产部署的首选。 🧠 **简单思维模型**:vLLM 就像**高铁**,transformers 是绿皮火车,TGI 是动车,vLLM 是又快又稳载客量又大的高铁。 ⚠️ **初学者常见错误**: 1. 只适合大部署 —— 个人用也比 transformers 快很多 2. 只支持 NVIDIA—— 现在也支持 AMD 和苹果硅 3. 部署很复杂 —— 一条命令就启动了 🎯 **小练习 / 项目**: 用 pip 安装 vLLM,启动一个 OpenAI 兼容的 API 服务,然后用同样的请求分别调用 vLLM 和原生 transformers,对比 tokens/s 速度。 --- ### MLX **什么是 MLX?** MLX 是苹果公司推出的苹果硅芯片专用的机器学习框架,专为 M 系列芯片优化。 **核心优势**: 1. **统一内存**:CPU/GPU 共享内存,不用拷贝 2. **苹果硅优化**:充分利用 Neon、Metal 3. **原生支持**:M1/M2/M3 都能发挥最大性能 4. **简单易用**:API 类似 NumPy/PyTorch **能做什么**: - 快速推理 LLM - 本地微调(QLoRA) - 训练小模型 - M2 Ultra 能跑 70B 模型! ✅ **简短总结**:MLX 是苹果专为 M 系列芯片优化的机器学习框架,充分利用苹果硅的统一内存架构,在 Mac 上跑大模型速度远超其他框架。 🧠 **简单思维模型**:MLX 就像**苹果芯片的专属司机**,最懂这辆车的性能,能开出最快最稳的速度,其他通用司机(PyTorch)做不到。 ⚠️ **初学者常见错误**: 1. 所有 Mac 都一样 —— 芯片越强差别越大 2. 和 PyTorch 速度差不多 ——MLX 快 2\-3 倍 3. 只能推理 —— 也能训练和微调 🎯 **小练习 / 项目**: 如果你有 Mac,安装 mlx\-examples,跑一个 Llama 7B 模型,对比 Ollama 的速度,感受苹果硅的威力。 --- ### Hugging Face **什么是 Hugging Face?** Hugging Face 是 AI 界的 GitHub,最大的模型和数据集社区,也是最重要的开源 AI 基础设施。 **核心产品**: 1. **Hub**:模型仓库,几十万个模型 2. **Transformers**:最流行的模型库 3. **Datasets**:数据集库 4. **Accelerate**:分布式训练 5. **PEFT**:参 > (注:文档部分内容可能由 AI 生成)