1391 lines
42 KiB
Markdown
1391 lines
42 KiB
Markdown
# AI术语完全指南:从入门到进阶
|
||
|
||
> 一份系统化的 AI 技术术语解释手册,从基础概念到高级应用,循序渐进,通俗易懂。
|
||
>
|
||
>
|
||
|
||
## Inference \& Optimization(推理与优化)
|
||
|
||
### KV cache
|
||
|
||
**什么是 KV Cache?**
|
||
|
||
KV Cache 是 Key\-Value 缓存,是加速大模型推理的最重要技术之一,避免重复计算。
|
||
|
||
**工作原理**:
|
||
|
||
- Transformer 每层都要计算 Attention 的 K(键)和 V(值)
|
||
|
||
- 生成第 1 个词:计算所有 token 的 K,V
|
||
|
||
- 生成第 2 个词:不用重新算前面的,只算新 token 的 K,V,缓存的直接用
|
||
|
||
- 以此类推\.\.\.
|
||
|
||
**效果**:
|
||
|
||
- 速度提升 2\-3 倍
|
||
|
||
- 显存占用稍微增加
|
||
|
||
- 生成越长,加速越明显
|
||
|
||
✅ **简短总结**:KV Cache 缓存 Attention 计算中的 Key 和 Value,避免生成每个 token 时都重新计算所有前面的 token,是推理加速的基础技术。
|
||
|
||
🧠 **简单思维模型**:KV Cache 就像**做数学题记中间结果**,算第二步时不用从头算第一步,直接用第一步算好的结果,大大加快速度。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. 以为 KV Cache 免费 —— 会增加一些显存占用
|
||
|
||
2. 所有场景都开 KV Cache—— 极短的生成反而可能变慢
|
||
|
||
3. 不理解 Cache 的序列限制 —— 超过窗口需要重建缓存
|
||
|
||
🎯 **小练习 / 项目**:
|
||
运行同一个模型,分别开启和关闭 KV Cache,生成长文本(比如 1000 字),对比两者的生成速度差异。
|
||
|
||
---
|
||
|
||
### Flash Attention
|
||
|
||
**什么是 Flash Attention?**
|
||
|
||
Flash Attention 是斯坦福大学提出的 Attention 加速算法,通过优化计算顺序和内存访问,大幅提升速度并降低显存。
|
||
|
||
**核心优化**:
|
||
|
||
1. **Tiling(分块计算)**:把大矩阵分成小块,一块块算
|
||
|
||
2. **重计算**:不用存所有中间结果,需要时重新算
|
||
|
||
3. **IO 感知**:优化 GPU SRAM 和 HBM 之间的数据传输
|
||
|
||
**效果**:
|
||
|
||
- 速度提升 2\-4 倍
|
||
|
||
- 显存减少 50\-80%
|
||
|
||
- 长序列效果尤其明显
|
||
|
||
✅ **简短总结**:Flash Attention 通过优化 Attention 的计算方式和内存访问模式,在不损失精度的前提下大幅提升速度、降低显存,是现在所有大模型的标配。
|
||
|
||
🧠 **简单思维模型**:Flash Attention 就像**整理书桌**,原来把所有书都摊在桌上(占满内存),现在把书分堆,只把正在看的那堆拿出来,既快又省空间。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. Flash Attention 只加速 —— 其实主要是省显存
|
||
|
||
2. 所有硬件都支持 —— 需要 Ampere 及以上架构
|
||
|
||
3. 一定比普通 Attention 快 —— 极短序列可能差不多
|
||
|
||
🎯 **小练习 / 项目**:
|
||
分别用普通 Attention 和 Flash Attention 跑一个长序列(4096 tokens),对比显存占用和计算时间。
|
||
|
||
---
|
||
|
||
### Speculative decoding(投机解码)
|
||
|
||
**什么是投机解码?**
|
||
|
||
投机解码用一个小模型 \&\#34;猜\&\#34; 接下来的 N 个词,然后大模型一次性验证,猜对了就跳过,猜错了再修正。
|
||
|
||
**工作流程**:
|
||
|
||
1. 小模型(草稿模型)快速生成 k 个候选词
|
||
|
||
2. 大模型(目标模型)并行验证这 k 个词
|
||
|
||
3. 猜对的都保留,猜错的从那里重新开始
|
||
|
||
4. 平均每次能生成 2\-3 个词
|
||
|
||
**效果**:
|
||
|
||
- 速度提升 2\-3 倍
|
||
|
||
- 输出完全和原模型一样(无质量损失)
|
||
|
||
- 不需要重新训练
|
||
|
||
✅ **简短总结**:投机解码用小模型快速 \&\#34;猜\&\#34; 多个词,大模型一次性验证,在不损失质量的前提下大幅提升生成速度,是推理加速的黑科技。
|
||
|
||
🧠 **简单思维模型**:投机解码就像**学霸帮学渣检查作业**,学渣(小模型)快速写完几道题,学霸(大模型)一眼检查完,对的就过,错的改,比学霸一道一道做快多了。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. 会改变输出质量 —— 数学证明和原模型分布完全一致
|
||
|
||
2. 随便什么小模型都行 —— 需要和大模型分布接近
|
||
|
||
3. 加速比无上限 —— 通常 2\-3 倍是极限
|
||
|
||
🎯 **小练习 / 项目**:
|
||
用 llama\.cpp 开启投机解码,用 7B 模型做草稿模型验证 13B 模型,对比普通解码的 tokens / 秒速度。
|
||
|
||
---
|
||
|
||
### Inference optimization(推理优化)
|
||
|
||
**什么是推理优化?**
|
||
|
||
推理优化是各种让模型跑更快、用更少显存、支持更多并发用户的技术总称。
|
||
|
||
**主要优化方向**:
|
||
|
||
1. **算法层面**:KV Cache、Flash Attention、投机解码
|
||
|
||
2. **量化**:4bit/8bit 量化
|
||
|
||
3. **编译优化**:vLLM、TensorRT\-LLM
|
||
|
||
4. **批处理**:把多个请求合并处理
|
||
|
||
5. **连续批处理**:动态加入新请求
|
||
|
||
**优化目标**:
|
||
|
||
- **延迟**:单个用户的响应速度
|
||
|
||
- **吞吐量**:每秒能处理的 token 数
|
||
|
||
- **成本**:每 1000token 多少钱
|
||
|
||
✅ **简短总结**:推理优化包含算法、量化、编译、批处理等多种技术,目标是降低延迟、提高吞吐量、降低成本,是 AI 产品落地的关键。
|
||
|
||
🧠 **简单思维模型**:推理优化就像**开餐厅优化翻台率**,通过各种方法让同样大的店(GPU)能接待更多客人(用户),上菜更快(延迟低)。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. 只优化速度 —— 吞吐量和成本同样重要
|
||
|
||
2. 优化过度影响质量 —— 要在质量和速度间平衡
|
||
|
||
3. 一种优化就够了 —— 通常需要多种技术组合
|
||
|
||
🎯 **小练习 / 项目**:
|
||
列出你能想到的所有推理优化技术,给每个技术打分:速度提升多少、显存节省多少、质量损失多少、实现难度多少。
|
||
|
||
---
|
||
|
||
### Model serving(模型服务)
|
||
|
||
**什么是模型服务?**
|
||
|
||
模型服务是把训练好的模型包装成 API,让用户通过网络调用,是大模型商业化的核心。
|
||
|
||
**模型服务做什么**:
|
||
|
||
1. **API 接口**:HTTP/gRPC 接口
|
||
|
||
2. **批处理调度**:智能合并请求
|
||
|
||
3. **负载均衡**:多 GPU / 多机器分配
|
||
|
||
4. **限流监控**:QPS 限制、日志监控
|
||
|
||
5. **弹性伸缩**:自动扩缩容
|
||
|
||
**常用框架**:
|
||
|
||
- vLLM:开源,性能好
|
||
|
||
- Text Generation Inference \(TGI\):Hugging Face
|
||
|
||
- TensorRT\-LLM:NVIDIA
|
||
|
||
- vLLM \> TGI \> 原生 transformers
|
||
|
||
✅ **简短总结**:模型服务将训练好的模型包装成可网络调用的 API,处理批处理、负载均衡、监控等工程问题,是大模型从 demo 到产品的关键一步。
|
||
|
||
🧠 **简单思维模型**:模型服务就像**外卖平台**,厨师(模型)在厨房做饭,平台接订单、调度、送餐、收钱,用户不用去厨房直接点餐就行。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. 直接用 transformers 做服务 —— 性能差 10 倍以上
|
||
|
||
2. 不做批处理 ——GPU 利用率极低
|
||
|
||
3. 忽略监控 —— 出问题不知道
|
||
|
||
🎯 **小练习 / 项目**:
|
||
用 vLLM 启动一个模型服务,然后用 ab 或 wrk 做压力测试,看每秒能处理多少请求,GPU 利用率是多少。
|
||
|
||
---
|
||
|
||
### Batch inference(批量推理)
|
||
|
||
**什么是批量推理?**
|
||
|
||
批量推理是把多个请求放在一起同时处理,利用 GPU 的并行计算能力,大大提高效率。
|
||
|
||
**为什么批量处理更快?**
|
||
|
||
- GPU 是并行计算,算 1 个和算 8 个时间差不多
|
||
|
||
- 单独处理:8 个请求 = 8 × 时间
|
||
|
||
- 批量处理:8 个请求 ≈ 1 × 时间
|
||
|
||
**两种批处理**:
|
||
|
||
1. **静态批处理**:攒够 N 个请求一起处理
|
||
|
||
2. **连续批处理(Continuous Batching)**:不用等,处理完一个就补一个新的
|
||
|
||
✅ **简短总结**:批量推理将多个请求合并同时处理,充分利用 GPU 并行能力,大幅提高吞吐量、降低单 token 成本,是高并发服务的必备。
|
||
|
||
🧠 **简单思维模型**:批量推理就像**公交车 vs 出租车**,出租车(单请求)一次拉一个人,公交车(批量)一次拉几十人,人均成本低多了。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. 批量越大越好 —— 太大反而变慢,通常 32\-64 最优
|
||
|
||
2. 只看吞吐量 —— 批量太大会增加延迟
|
||
|
||
3. 静态批处理就够了 —— 连续批处理好太多
|
||
|
||
🎯 **小练习 / 项目**:
|
||
写一个简单脚本,分别用 batch size=1, 4, 8, 16, 32 跑推理,记录每个 batch 的时间和吞吐量,画个曲线找最优值。
|
||
|
||
---
|
||
|
||
### GPU basics(GPU 基础)
|
||
|
||
**什么是 GPU?**
|
||
|
||
GPU = Graphics Processing Unit,图形处理器,现在是 AI 训练和推理的核心硬件。
|
||
|
||
**GPU vs CPU**:
|
||
|
||
- **CPU**:几个强大的核心,擅长复杂逻辑,串行计算
|
||
|
||
- **GPU**:几千个弱小的核心,擅长简单重复,并行计算
|
||
|
||
**AI 常用 GPU**:
|
||
|
||
- **消费级**:RTX 3090/4090(24GB)
|
||
|
||
- **数据中心**:A100(40/80GB)、H100(80GB)
|
||
|
||
- **性价比**:RTX 4090 \> A100 \> H100
|
||
|
||
**关键指标**:
|
||
|
||
- 显存大小(最重要)
|
||
|
||
- 显存带宽
|
||
|
||
- TFLOPS(算力)
|
||
|
||
✅ **简短总结**:GPU 通过数千个核心的大规模并行计算能力,成为 AI 训练和推理的核心硬件,显存大小是选择 GPU 的第一指标。
|
||
|
||
🧠 **简单思维模型**:CPU 是**一个数学教授**,算难题很快;GPU 是**10000 个小学生**,每人算一道简单题,10000 道题一起算完比教授快多了。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. 只看算力不看显存 —— 显存不够再强也没用
|
||
|
||
2. 消费级卡不能做训练 ——4090 训练 7B 模型很好用
|
||
|
||
3. 越贵的卡性价比越高 ——4090 是性价比之王
|
||
|
||
🎯 **小练习 / 项目**:
|
||
做一个 GPU 对比表,列出 RTX 3090、4090、A10、A100、H100 的:显存、显存带宽、FP16 算力、价格、每 GB 显存成本。
|
||
|
||
---
|
||
|
||
### VRAM basics(显存基础)
|
||
|
||
**什么是 VRAM?**
|
||
|
||
VRAM = Video RAM,显卡专用内存,是 GPU 能同时放多少数据的决定因素。
|
||
|
||
**模型显存占用估算**:
|
||
|
||
- **FP16**:参数 × 2 字节 = 模型大小
|
||
|
||
- 7B 模型:14GB
|
||
|
||
- 13B 模型:26GB
|
||
|
||
- 70B 模型:140GB
|
||
|
||
- **4bit 量化**:参数 × 0\.5 字节
|
||
|
||
- 7B 模型:3\.5GB
|
||
|
||
- 13B 模型:6\.5GB
|
||
|
||
- 70B 模型:35GB
|
||
|
||
**显存还用来放什么**:
|
||
|
||
1. 模型权重
|
||
|
||
2. KV Cache
|
||
|
||
3. 中间激活值
|
||
|
||
4. 优化器状态(训练时)
|
||
|
||
✅ **简短总结**:VRAM 是 GPU 的专用内存,决定了能运行多大的模型,模型大小 = 参数量 × 每个参数字节数,量化可以大幅减少显存需求。
|
||
|
||
🧠 **简单思维模型**:VRAM 就像**工作台大小**,工作台越大,能同时放的材料(模型参数、中间结果)越多,能做的活越复杂。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. 只算模型大小 ——KV Cache 和激活值也要占显存
|
||
|
||
2. 24GB 刚好放 13B FP16—— 实际需要留余量
|
||
|
||
3. 显存占满才好 —— 留 10\-20% 余量更稳定
|
||
|
||
🎯 **小练习 / 项目**:
|
||
用 nvidia\-smi 监控,分别加载 7B 模型的 FP16、8bit、4bit 版本,记录每个的显存占用,和理论值对比。
|
||
|
||
---
|
||
|
||
### Latency vs quality tradeoffs(延迟与质量权衡)
|
||
|
||
**什么是权衡?**
|
||
|
||
AI 推理中,速度和质量通常是矛盾的,要根据场景做取舍。
|
||
|
||
**常见的权衡点**:
|
||
|
||
|技术|质量影响|速度提升|适用场景|
|
||
|---|---|---|---|
|
||
|4bit 量化|极小|2x|几乎所有场景|
|
||
|8bit 量化|几乎无|1\.5x|所有场景|
|
||
|投机解码|无|2\-3x|所有场景|
|
||
|更小的模型|有损失|5\-10x|简单任务|
|
||
|减少 beam search|略有损失|2x|聊天场景|
|
||
|降低上下文|可能损失|显著|短对话|
|
||
|
||
**怎么选?**
|
||
|
||
- **聊天机器人**:延迟优先,用户等不及
|
||
|
||
- **写作 / 总结**:质量优先,慢一点没关系
|
||
|
||
- **批量处理**:吞吐量优先
|
||
|
||
✅ **简短总结**:推理中速度和质量通常需要权衡,不同场景优先级不同,聊天要快,复杂任务要质量,批量处理要吞吐量。
|
||
|
||
🧠 **简单思维模型**:延迟质量权衡就像**做饭**,快餐(快但一般)、家常菜(平衡)、米其林(慢但好吃),不同客人需求不同。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. 什么都要最好 —— 又快又好又便宜不可能
|
||
|
||
2. 所有场景用同一个配置 —— 要分场景优化
|
||
|
||
3. 只看 benchmark—— 真实用户体验最重要
|
||
|
||
🎯 **小练习 / 项目**:
|
||
为三个场景设计优化方案:1)客服聊天机器人;2)文档总结工具;3)离线批量数据处理,分别说明你会选择什么模型、什么量化、什么优化技术。
|
||
|
||
---
|
||
|
||
## Local AI Ecosystem(本地 AI 生态)
|
||
|
||
### llama\.cpp
|
||
|
||
**什么是 llama\.cpp?**
|
||
|
||
llama\.cpp 是一个纯 C/C\+\+ 实现的 LLM 推理引擎,由 Georgi Gerganov 开发,开启了本地 AI 革命。
|
||
|
||
**核心特点**:
|
||
|
||
1. **纯 C 实现**:无依赖,到处能跑
|
||
|
||
2. **量化支持**:GGUF 格式,2bit\-16bit
|
||
|
||
3. **跨平台**:Windows/Mac/Linux/ 手机 / 浏览器
|
||
|
||
4. **CPU 优先**:没有 GPU 也能跑
|
||
|
||
5. **极快**:手工优化的 SIMD 代码
|
||
|
||
**为什么重要?**
|
||
|
||
- 第一个让普通人能在自己电脑跑大模型的项目
|
||
|
||
- 整个本地 AI 生态的基础
|
||
|
||
- Ollama、LM Studio 都是基于它
|
||
|
||
✅ **简短总结**:llama\.cpp 是纯 C 实现的轻量级 LLM 推理引擎,跨平台、支持 CPU、速度极快,是整个本地运行大模型生态的基石。
|
||
|
||
🧠 **简单思维模型**:llama\.cpp 就像**汽车的发动机**,Ollama、LM Studio 这些是车的外壳和内饰,核心发动机都是 llama\.cpp。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. 只支持 LLaMA—— 现在支持所有主流模型
|
||
|
||
2. CPU 很慢 —— 苹果硅上 CPU 推理很快
|
||
|
||
3. 不支持 GPU—— 现在支持 CUDA/Metal/ROCm
|
||
|
||
🎯 **小练习 / 项目**:
|
||
去[github\.com/ggerganov/llama\.cpp](https://github.com/ggerganov/llama.cpp)下载,编译,然后跑一个 7B Q4 模型,体验一下纯 CPU 跑大模型。
|
||
|
||
---
|
||
|
||
### Ollama
|
||
|
||
**什么是 Ollama?**
|
||
|
||
Ollama 是最流行的本地运行大模型工具,把 llama\.cpp 包装得非常易用,一键下载运行。
|
||
|
||
**核心功能**:
|
||
|
||
1. **一键安装**:一条命令安装
|
||
|
||
2. **模型库**:`ollama run llama2` 自动下载运行
|
||
|
||
3. **OpenAI 兼容 API**:直接替换 OpenAI 接口
|
||
|
||
4. **多模型管理**:本地管理多个模型
|
||
|
||
5. **支持 LoRA**:动态加载 LoRA
|
||
|
||
**常用命令**:
|
||
|
||
```bash
|
||
ollama run llama2 # 运行Llama 2
|
||
ollama run mistral # 运行Mistral
|
||
ollama list # 列出本地模型
|
||
ollama pull qwen:7b # 下载模型
|
||
```
|
||
|
||
✅ **简短总结**:Ollama 将复杂的本地大模型运行简化到一条命令,自带模型库和 API 接口,是普通用户体验本地 AI 的首选工具。
|
||
|
||
🧠 **简单思维模型**:Ollama 就像**手机的应用商店**,搜一下,点一下,APP(模型)就装好了直接用,不用管编译、依赖这些技术细节。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. Ollama 只能跑小模型 —— 现在支持 70B 甚至更大
|
||
|
||
2. 只能命令行用 —— 有很多 GUI 前端
|
||
|
||
3. 性能比原生 llama\.cpp 差 —— 几乎没差别
|
||
|
||
🎯 **小练习 / 项目**:
|
||
安装 Ollama,然后依次运行 llama2、mistral、qwen 三个模型,和它们对话,体验不同模型的特点,然后用 curl 调用它的 API。
|
||
|
||
---
|
||
|
||
### vLLM
|
||
|
||
**什么是 vLLM?**
|
||
|
||
vLLM 是 UC Berkeley 开发的高性能 LLM 推理和服务引擎,是现在性能最好的开源服务框架。
|
||
|
||
**核心技术**:
|
||
|
||
1. **PagedAttention**:像操作系统虚拟内存一样管理 KV Cache
|
||
|
||
2. **连续批处理**:不用等,动态加入请求
|
||
|
||
3. **极致优化**:比 transformers 快 10\-20 倍
|
||
|
||
4. **OpenAI 兼容 API**:直接替换
|
||
|
||
**性能对比**:
|
||
|
||
- transformers:1x
|
||
|
||
- TGI:3\-5x
|
||
|
||
- vLLM:10\-20x
|
||
|
||
✅ **简短总结**:vLLM 通过 PagedAttention 和连续批处理等创新,提供了目前最快的 LLM 推理和服务性能,是生产部署的首选。
|
||
|
||
🧠 **简单思维模型**:vLLM 就像**高铁**,transformers 是绿皮火车,TGI 是动车,vLLM 是又快又稳载客量又大的高铁。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. 只适合大部署 —— 个人用也比 transformers 快很多
|
||
|
||
2. 只支持 NVIDIA—— 现在也支持 AMD 和苹果硅
|
||
|
||
3. 部署很复杂 —— 一条命令就启动了
|
||
|
||
🎯 **小练习 / 项目**:
|
||
用 pip 安装 vLLM,启动一个 OpenAI 兼容的 API 服务,然后用同样的请求分别调用 vLLM 和原生 transformers,对比 tokens/s 速度。
|
||
|
||
---
|
||
|
||
### MLX
|
||
|
||
**什么是 MLX?**
|
||
|
||
MLX 是苹果公司推出的苹果硅芯片专用的机器学习框架,专为 M 系列芯片优化。
|
||
|
||
**核心优势**:
|
||
|
||
1. **统一内存**:CPU/GPU 共享内存,不用拷贝
|
||
|
||
2. **苹果硅优化**:充分利用 Neon、Metal
|
||
|
||
3. **原生支持**:M1/M2/M3 都能发挥最大性能
|
||
|
||
4. **简单易用**:API 类似 NumPy/PyTorch
|
||
|
||
**能做什么**:
|
||
|
||
- 快速推理 LLM
|
||
|
||
- 本地微调(QLoRA)
|
||
|
||
- 训练小模型
|
||
|
||
- M2 Ultra 能跑 70B 模型!
|
||
|
||
✅ **简短总结**:MLX 是苹果专为 M 系列芯片优化的机器学习框架,充分利用苹果硅的统一内存架构,在 Mac 上跑大模型速度远超其他框架。
|
||
|
||
🧠 **简单思维模型**:MLX 就像**苹果芯片的专属司机**,最懂这辆车的性能,能开出最快最稳的速度,其他通用司机(PyTorch)做不到。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. 所有 Mac 都一样 —— 芯片越强差别越大
|
||
|
||
2. 和 PyTorch 速度差不多 ——MLX 快 2\-3 倍
|
||
|
||
3. 只能推理 —— 也能训练和微调
|
||
|
||
🎯 **小练习 / 项目**:
|
||
如果你有 Mac,安装 mlx\-examples,跑一个 Llama 7B 模型,对比 Ollama 的速度,感受苹果硅的威力。
|
||
|
||
---
|
||
|
||
### Hugging Face
|
||
|
||
**什么是 Hugging Face?**
|
||
|
||
Hugging Face 是 AI 界的 GitHub,最大的模型和数据集社区,也是最重要的开源 AI 基础设施。
|
||
|
||
**核心产品**:
|
||
|
||
1. **Hub**:模型仓库,几十万个模型
|
||
|
||
2. **Transformers**:最流行的模型库
|
||
|
||
3. **Datasets**:数据集库
|
||
|
||
4. **Accelerate**:分布式训练
|
||
|
||
5. **PEFT**:参数高效微调
|
||
|
||
6. **TRL**:强化学习 / 对齐
|
||
|
||
**为什么重要?**
|
||
|
||
- 几乎所有开源模型都上传到 Hugging Face
|
||
|
||
- 所有 AI 开发者都用它的工具
|
||
|
||
- 整个开源 AI 生态的中心
|
||
|
||
✅ **简短总结**:Hugging Face 是开源 AI 的中心枢纽,提供模型仓库、模型库、数据集等核心工具,是每个 AI 开发者的必备工具。
|
||
|
||
🧠 **简单思维模型**:Hugging Face 就像**AI 界的淘宝**,模型是商品,大家都在上面开店卖货(上传模型),买家(开发者)在上面挑货,还有各种配套工具。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. 只是模型下载站 —— 工具生态才是核心
|
||
|
||
2. 模型都能用 —— 很多模型质量很差
|
||
|
||
3. 只能用它的库 —— 也可以直接下载权重
|
||
|
||
🎯 **小练习 / 项目**:
|
||
注册 Hugging Face 账号,浏览 Models 页面,按下载量排序,看看最流行的模型都是哪些,然后用 transformers 库加载其中一个。
|
||
|
||
---
|
||
|
||
### Unsloth
|
||
|
||
**什么是 Unsloth?**
|
||
|
||
Unsloth 是一个专注于微调速度优化的库,能让 LoRA 微调速度提升 2\-5 倍,显存减少一半。
|
||
|
||
**核心优化**:
|
||
|
||
1. **手工优化的内核**:每个算子都手动优化
|
||
|
||
2. **降精度优化**:聪明的混合精度
|
||
|
||
3. **减少冗余计算**:去掉不必要的计算
|
||
|
||
4. **支持所有主流模型**:Llama、Mistral、Qwen 等
|
||
|
||
**效果**:
|
||
|
||
- 微调 7B 模型:RTX 3090 上 1 小时搞定
|
||
|
||
- 微调 13B 模型:24GB 显存足够
|
||
|
||
- 零质量损失
|
||
|
||
✅ **简短总结**:Unsloth 通过高度优化的内核,让 LoRA 微调速度提升数倍、显存减半,是现在个人用户微调大模型的首选工具。
|
||
|
||
🧠 **简单思维模型**:Unsloth 就像**给汽车刷 ECU**,发动机还是那个发动机,但优化后马力大增,油耗还降低了,不用换硬件。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. 只有微调快 —— 推理也优化了
|
||
|
||
2. 会损失质量 —— 官方证明和原生 LoRA 完全一致
|
||
|
||
3. 只支持少数模型 —— 现在支持所有主流开源模型
|
||
|
||
🎯 **小练习 / 项目**:
|
||
用 Unsloth 和用原生 peft 分别微调同一个模型,记录训练时间和显存占用,对比速度差异。
|
||
|
||
---
|
||
|
||
### Axolotl
|
||
|
||
**什么是 Axolotl?**
|
||
|
||
Axolotl 是一个一站式微调工具,把各种微调技术(LoRA、QLoRA、全参数)包装成配置文件驱动的工具。
|
||
|
||
**核心特点**:
|
||
|
||
1. **配置驱动**:写个 yaml 配置就开始微调
|
||
|
||
2. **支持所有方法**:LoRA、QLoRA、全参数
|
||
|
||
3. **支持所有模型**:几乎所有开源模型
|
||
|
||
4. **最佳实践**:内置各种优化和最佳实践
|
||
|
||
5. **多卡训练**:开箱即用分布式训练
|
||
|
||
**简单示例**:
|
||
|
||
```yaml
|
||
base_model: mistralai/Mistral-7B-v0.1
|
||
load_in_4bit: true
|
||
adapter: lora
|
||
lora_r: 8
|
||
lora_alpha: 16
|
||
datasets:
|
||
- path: my_dataset.jsonl
|
||
```
|
||
|
||
✅ **简短总结**:Axolotl 是一站式微调框架,通过配置文件统一各种微调方法,内置最佳实践,不用写代码就能专业地微调模型。
|
||
|
||
🧠 **简单思维模型**:Axolotl 就像**单反相机的自动模式**,专业摄影师(专家)调好所有参数,你只要按快门就行,不用懂每个参数怎么设。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. 太复杂不适合新手 —— 反而比自己写代码简单
|
||
|
||
2. 只能微调 —— 也能做继续预训练
|
||
|
||
3. 性能不如手写 —— 内置的优化比大部分人写得好
|
||
|
||
🎯 **小练习 / 项目**:
|
||
安装 Axolotl,找一个示例配置文件,修改成你自己的数据集,跑一个微调,对比自己写代码的体验。
|
||
|
||
---
|
||
|
||
### PEFT
|
||
|
||
**什么是 PEFT?**
|
||
|
||
PEFT = Parameter\-Efficient Fine\-Tuning,Hugging Face 官方的参数高效微调库。
|
||
|
||
**支持的方法**:
|
||
|
||
1. **LoRA**:最常用
|
||
|
||
2. **AdaLoRA**:自适应 LoRA
|
||
|
||
3. **IA3**:Infused Adapter
|
||
|
||
4. **Prefix Tuning**:前缀微调
|
||
|
||
5. **Prompt Tuning**:提示微调
|
||
|
||
**优点**:
|
||
|
||
- 官方维护,质量有保证
|
||
|
||
- 和 transformers 无缝集成
|
||
|
||
- 支持所有模型
|
||
|
||
- 文档完善
|
||
|
||
✅ **简短总结**:PEFT 是 Hugging Face 官方的参数高效微调库,统一了 LoRA 等各种高效微调方法,和 transformers 无缝集成,是微调的标准工具。
|
||
|
||
🧠 **简单思维模型**:PEFT 就像**万能转接头**,不管什么模型(手机),都能用这个转接头接上各种适配器(LoRA 等),不用改原模型。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. 只有 LoRA—— 还有很多其他方法
|
||
|
||
2. 只能 transformers 用 —— 也能给其他库用
|
||
|
||
3. 速度最快 ——Unsloth 优化版更快
|
||
|
||
🎯 **小练习 / 项目**:
|
||
用 PEFT 写一个最简单的 LoRA 微调脚本,10 行代码以内,理解 PEFT 的基本用法。
|
||
|
||
---
|
||
|
||
### TRL library
|
||
|
||
**什么是 TRL?**
|
||
|
||
TRL = Transformer Reinforcement Learning,Hugging Face 官方的强化学习和对齐库。
|
||
|
||
**支持的方法**:
|
||
|
||
1. **SFT**:监督微调
|
||
|
||
2. **Reward Modeling**:奖励模型训练
|
||
|
||
3. **PPO**:近端策略优化
|
||
|
||
4. **DPO**:直接偏好优化
|
||
|
||
5. **KTO**:新知识对齐
|
||
|
||
**为什么用 TRL?**
|
||
|
||
- 官方实现,正确可靠
|
||
|
||
- 各种对齐方法的标准实现
|
||
|
||
- 和 PEFT、transformers 集成
|
||
|
||
- 不用自己从头写 DPO
|
||
|
||
✅ **简短总结**:TRL 是 Hugging Face 官方的模型对齐库,提供 SFT、DPO、PPO 等各种对齐方法的标准实现,是做模型对齐的首选。
|
||
|
||
🧠 **简单思维模型**:TRL 就像**驾校的标准课程**,SFT 是科目一,DPO 是科目二科目三,按标准流程学,就能拿到驾照(对齐好的模型)。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. 只能做 RL—— 现在 DPO 才是主力
|
||
|
||
2. 很难用 —— 封装得很好,简单易用
|
||
|
||
3. 只有 RLHF—— 支持各种新的对齐方法
|
||
|
||
🎯 **小练习 / 项目**:
|
||
用 TRL 的 DPOTrainer,跑一个最简单的 DPO 例子,理解偏好数据格式和训练流程。
|
||
|
||
---
|
||
|
||
## 📚 目录
|
||
|
||
1. \[Foundations(基础)\]\(\#foundations基础\)
|
||
|
||
2. \[Datasets \& Training(数据集与训练)\]\(\#datasets\-\-training数据集与训练\)
|
||
|
||
3. \[Fine\-Tuning(微调)\]\(\#fine\-tuning微调\)
|
||
|
||
4. \[Inference \& Optimization(推理与优化)\]\(\#inference\-\-optimization推理与优化\)
|
||
|
||
5. \[Local AI Ecosystem(本地 AI 生态)\]\(\#local\-ai\-ecosystem本地ai生态\)
|
||
|
||
6. \[RAG \& Memory(检索增强与记忆)\]\(\#rag\-\-memory检索增强与记忆\)
|
||
|
||
7. \[Agents \& Workflows(智能体与工作流)\]\(\#agents\-\-workflows智能体与工作流\)
|
||
|
||
8. \[Model Types(模型类型)\]\(\#model\-types模型类型\)
|
||
|
||
9. \[Deployment(部署)\]\(\#deployment部署\)
|
||
|
||
10. \[Evaluation(评估)\]\(\#evaluation评估\)
|
||
|
||
11. \[Real\-World Skills(实战技能)\]\(\#real\-world\-skills实战技能\)
|
||
|
||
## Inference \& Optimization(推理与优化)
|
||
|
||
### KV cache
|
||
|
||
**什么是 KV Cache?**
|
||
|
||
KV Cache 是 Key\-Value 缓存,是加速大模型推理的最重要技术之一,避免重复计算。
|
||
|
||
**工作原理**:
|
||
|
||
- Transformer 每层都要计算 Attention 的 K(键)和 V(值)
|
||
|
||
- 生成第 1 个词:计算所有 token 的 K,V
|
||
|
||
- 生成第 2 个词:不用重新算前面的,只算新 token 的 K,V,缓存的直接用
|
||
|
||
- 以此类推\.\.\.
|
||
|
||
**效果**:
|
||
|
||
- 速度提升 2\-3 倍
|
||
|
||
- 显存占用稍微增加
|
||
|
||
- 生成越长,加速越明显
|
||
|
||
✅ **简短总结**:KV Cache 缓存 Attention 计算中的 Key 和 Value,避免生成每个 token 时都重新计算所有前面的 token,是推理加速的基础技术。
|
||
|
||
🧠 **简单思维模型**:KV Cache 就像**做数学题记中间结果**,算第二步时不用从头算第一步,直接用第一步算好的结果,大大加快速度。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. 以为 KV Cache 免费 —— 会增加一些显存占用
|
||
|
||
2. 所有场景都开 KV Cache—— 极短的生成反而可能变慢
|
||
|
||
3. 不理解 Cache 的序列限制 —— 超过窗口需要重建缓存
|
||
|
||
🎯 **小练习 / 项目**:
|
||
运行同一个模型,分别开启和关闭 KV Cache,生成长文本(比如 1000 字),对比两者的生成速度差异。
|
||
|
||
---
|
||
|
||
### Flash Attention
|
||
|
||
**什么是 Flash Attention?**
|
||
|
||
Flash Attention 是斯坦福大学提出的 Attention 加速算法,通过优化计算顺序和内存访问,大幅提升速度并降低显存。
|
||
|
||
**核心优化**:
|
||
|
||
1. **Tiling(分块计算)**:把大矩阵分成小块,一块块算
|
||
|
||
2. **重计算**:不用存所有中间结果,需要时重新算
|
||
|
||
3. **IO 感知**:优化 GPU SRAM 和 HBM 之间的数据传输
|
||
|
||
**效果**:
|
||
|
||
- 速度提升 2\-4 倍
|
||
|
||
- 显存减少 50\-80%
|
||
|
||
- 长序列效果尤其明显
|
||
|
||
✅ **简短总结**:Flash Attention 通过优化 Attention 的计算方式和内存访问模式,在不损失精度的前提下大幅提升速度、降低显存,是现在所有大模型的标配。
|
||
|
||
🧠 **简单思维模型**:Flash Attention 就像**整理书桌**,原来把所有书都摊在桌上(占满内存),现在把书分堆,只把正在看的那堆拿出来,既快又省空间。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. Flash Attention 只加速 —— 其实主要是省显存
|
||
|
||
2. 所有硬件都支持 —— 需要 Ampere 及以上架构
|
||
|
||
3. 一定比普通 Attention 快 —— 极短序列可能差不多
|
||
|
||
🎯 **小练习 / 项目**:
|
||
分别用普通 Attention 和 Flash Attention 跑一个长序列(4096 tokens),对比显存占用和计算时间。
|
||
|
||
---
|
||
|
||
### Speculative decoding(投机解码)
|
||
|
||
**什么是投机解码?**
|
||
|
||
投机解码用一个小模型 \&\#34;猜\&\#34; 接下来的 N 个词,然后大模型一次性验证,猜对了就跳过,猜错了再修正。
|
||
|
||
**工作流程**:
|
||
|
||
1. 小模型(草稿模型)快速生成 k 个候选词
|
||
|
||
2. 大模型(目标模型)并行验证这 k 个词
|
||
|
||
3. 猜对的都保留,猜错的从那里重新开始
|
||
|
||
4. 平均每次能生成 2\-3 个词
|
||
|
||
**效果**:
|
||
|
||
- 速度提升 2\-3 倍
|
||
|
||
- 输出完全和原模型一样(无质量损失)
|
||
|
||
- 不需要重新训练
|
||
|
||
✅ **简短总结**:投机解码用小模型快速 \&\#34;猜\&\#34; 多个词,大模型一次性验证,在不损失质量的前提下大幅提升生成速度,是推理加速的黑科技。
|
||
|
||
🧠 **简单思维模型**:投机解码就像**学霸帮学渣检查作业**,学渣(小模型)快速写完几道题,学霸(大模型)一眼检查完,对的就过,错的改,比学霸一道一道做快多了。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. 会改变输出质量 —— 数学证明和原模型分布完全一致
|
||
|
||
2. 随便什么小模型都行 —— 需要和大模型分布接近
|
||
|
||
3. 加速比无上限 —— 通常 2\-3 倍是极限
|
||
|
||
🎯 **小练习 / 项目**:
|
||
用 llama\.cpp 开启投机解码,用 7B 模型做草稿模型验证 13B 模型,对比普通解码的 tokens / 秒速度。
|
||
|
||
---
|
||
|
||
### Inference optimization(推理优化)
|
||
|
||
**什么是推理优化?**
|
||
|
||
推理优化是各种让模型跑更快、用更少显存、支持更多并发用户的技术总称。
|
||
|
||
**主要优化方向**:
|
||
|
||
1. **算法层面**:KV Cache、Flash Attention、投机解码
|
||
|
||
2. **量化**:4bit/8bit 量化
|
||
|
||
3. **编译优化**:vLLM、TensorRT\-LLM
|
||
|
||
4. **批处理**:把多个请求合并处理
|
||
|
||
5. **连续批处理**:动态加入新请求
|
||
|
||
**优化目标**:
|
||
|
||
- **延迟**:单个用户的响应速度
|
||
|
||
- **吞吐量**:每秒能处理的 token 数
|
||
|
||
- **成本**:每 1000token 多少钱
|
||
|
||
✅ **简短总结**:推理优化包含算法、量化、编译、批处理等多种技术,目标是降低延迟、提高吞吐量、降低成本,是 AI 产品落地的关键。
|
||
|
||
🧠 **简单思维模型**:推理优化就像**开餐厅优化翻台率**,通过各种方法让同样大的店(GPU)能接待更多客人(用户),上菜更快(延迟低)。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. 只优化速度 —— 吞吐量和成本同样重要
|
||
|
||
2. 优化过度影响质量 —— 要在质量和速度间平衡
|
||
|
||
3. 一种优化就够了 —— 通常需要多种技术组合
|
||
|
||
🎯 **小练习 / 项目**:
|
||
列出你能想到的所有推理优化技术,给每个技术打分:速度提升多少、显存节省多少、质量损失多少、实现难度多少。
|
||
|
||
---
|
||
|
||
### Model serving(模型服务)
|
||
|
||
**什么是模型服务?**
|
||
|
||
模型服务是把训练好的模型包装成 API,让用户通过网络调用,是大模型商业化的核心。
|
||
|
||
**模型服务做什么**:
|
||
|
||
1. **API 接口**:HTTP/gRPC 接口
|
||
|
||
2. **批处理调度**:智能合并请求
|
||
|
||
3. **负载均衡**:多 GPU / 多机器分配
|
||
|
||
4. **限流监控**:QPS 限制、日志监控
|
||
|
||
5. **弹性伸缩**:自动扩缩容
|
||
|
||
**常用框架**:
|
||
|
||
- vLLM:开源,性能好
|
||
|
||
- Text Generation Inference \(TGI\):Hugging Face
|
||
|
||
- TensorRT\-LLM:NVIDIA
|
||
|
||
- vLLM \> TGI \> 原生 transformers
|
||
|
||
✅ **简短总结**:模型服务将训练好的模型包装成可网络调用的 API,处理批处理、负载均衡、监控等工程问题,是大模型从 demo 到产品的关键一步。
|
||
|
||
🧠 **简单思维模型**:模型服务就像**外卖平台**,厨师(模型)在厨房做饭,平台接订单、调度、送餐、收钱,用户不用去厨房直接点餐就行。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. 直接用 transformers 做服务 —— 性能差 10 倍以上
|
||
|
||
2. 不做批处理 ——GPU 利用率极低
|
||
|
||
3. 忽略监控 —— 出问题不知道
|
||
|
||
🎯 **小练习 / 项目**:
|
||
用 vLLM 启动一个模型服务,然后用 ab 或 wrk 做压力测试,看每秒能处理多少请求,GPU 利用率是多少。
|
||
|
||
---
|
||
|
||
### Batch inference(批量推理)
|
||
|
||
**什么是批量推理?**
|
||
|
||
批量推理是把多个请求放在一起同时处理,利用 GPU 的并行计算能力,大大提高效率。
|
||
|
||
**为什么批量处理更快?**
|
||
|
||
- GPU 是并行计算,算 1 个和算 8 个时间差不多
|
||
|
||
- 单独处理:8 个请求 = 8 × 时间
|
||
|
||
- 批量处理:8 个请求 ≈ 1 × 时间
|
||
|
||
**两种批处理**:
|
||
|
||
1. **静态批处理**:攒够 N 个请求一起处理
|
||
|
||
2. **连续批处理(Continuous Batching)**:不用等,处理完一个就补一个新的
|
||
|
||
✅ **简短总结**:批量推理将多个请求合并同时处理,充分利用 GPU 并行能力,大幅提高吞吐量、降低单 token 成本,是高并发服务的必备。
|
||
|
||
🧠 **简单思维模型**:批量推理就像**公交车 vs 出租车**,出租车(单请求)一次拉一个人,公交车(批量)一次拉几十人,人均成本低多了。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. 批量越大越好 —— 太大反而变慢,通常 32\-64 最优
|
||
|
||
2. 只看吞吐量 —— 批量太大会增加延迟
|
||
|
||
3. 静态批处理就够了 —— 连续批处理好太多
|
||
|
||
🎯 **小练习 / 项目**:
|
||
写一个简单脚本,分别用 batch size=1, 4, 8, 16, 32 跑推理,记录每个 batch 的时间和吞吐量,画个曲线找最优值。
|
||
|
||
---
|
||
|
||
### GPU basics(GPU 基础)
|
||
|
||
**什么是 GPU?**
|
||
|
||
GPU = Graphics Processing Unit,图形处理器,现在是 AI 训练和推理的核心硬件。
|
||
|
||
**GPU vs CPU**:
|
||
|
||
- **CPU**:几个强大的核心,擅长复杂逻辑,串行计算
|
||
|
||
- **GPU**:几千个弱小的核心,擅长简单重复,并行计算
|
||
|
||
**AI 常用 GPU**:
|
||
|
||
- **消费级**:RTX 3090/4090(24GB)
|
||
|
||
- **数据中心**:A100(40/80GB)、H100(80GB)
|
||
|
||
- **性价比**:RTX 4090 \> A100 \> H100
|
||
|
||
**关键指标**:
|
||
|
||
- 显存大小(最重要)
|
||
|
||
- 显存带宽
|
||
|
||
- TFLOPS(算力)
|
||
|
||
✅ **简短总结**:GPU 通过数千个核心的大规模并行计算能力,成为 AI 训练和推理的核心硬件,显存大小是选择 GPU 的第一指标。
|
||
|
||
🧠 **简单思维模型**:CPU 是**一个数学教授**,算难题很快;GPU 是**10000 个小学生**,每人算一道简单题,10000 道题一起算完比教授快多了。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. 只看算力不看显存 —— 显存不够再强也没用
|
||
|
||
2. 消费级卡不能做训练 ——4090 训练 7B 模型很好用
|
||
|
||
3. 越贵的卡性价比越高 ——4090 是性价比之王
|
||
|
||
🎯 **小练习 / 项目**:
|
||
做一个 GPU 对比表,列出 RTX 3090、4090、A10、A100、H100 的:显存、显存带宽、FP16 算力、价格、每 GB 显存成本。
|
||
|
||
---
|
||
|
||
### VRAM basics(显存基础)
|
||
|
||
**什么是 VRAM?**
|
||
|
||
VRAM = Video RAM,显卡专用内存,是 GPU 能同时放多少数据的决定因素。
|
||
|
||
**模型显存占用估算**:
|
||
|
||
- **FP16**:参数 × 2 字节 = 模型大小
|
||
|
||
- 7B 模型:14GB
|
||
|
||
- 13B 模型:26GB
|
||
|
||
- 70B 模型:140GB
|
||
|
||
- **4bit 量化**:参数 × 0\.5 字节
|
||
|
||
- 7B 模型:3\.5GB
|
||
|
||
- 13B 模型:6\.5GB
|
||
|
||
- 70B 模型:35GB
|
||
|
||
**显存还用来放什么**:
|
||
|
||
1. 模型权重
|
||
|
||
2. KV Cache
|
||
|
||
3. 中间激活值
|
||
|
||
4. 优化器状态(训练时)
|
||
|
||
✅ **简短总结**:VRAM 是 GPU 的专用内存,决定了能运行多大的模型,模型大小 = 参数量 × 每个参数字节数,量化可以大幅减少显存需求。
|
||
|
||
🧠 **简单思维模型**:VRAM 就像**工作台大小**,工作台越大,能同时放的材料(模型参数、中间结果)越多,能做的活越复杂。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. 只算模型大小 ——KV Cache 和激活值也要占显存
|
||
|
||
2. 24GB 刚好放 13B FP16—— 实际需要留余量
|
||
|
||
3. 显存占满才好 —— 留 10\-20% 余量更稳定
|
||
|
||
🎯 **小练习 / 项目**:
|
||
用 nvidia\-smi 监控,分别加载 7B 模型的 FP16、8bit、4bit 版本,记录每个的显存占用,和理论值对比。
|
||
|
||
---
|
||
|
||
### Latency vs quality tradeoffs(延迟与质量权衡)
|
||
|
||
**什么是权衡?**
|
||
|
||
AI 推理中,速度和质量通常是矛盾的,要根据场景做取舍。
|
||
|
||
**常见的权衡点**:
|
||
|
||
|技术|质量影响|速度提升|适用场景|
|
||
|---|---|---|---|
|
||
|4bit 量化|极小|2x|几乎所有场景|
|
||
|8bit 量化|几乎无|1\.5x|所有场景|
|
||
|投机解码|无|2\-3x|所有场景|
|
||
|更小的模型|有损失|5\-10x|简单任务|
|
||
|减少 beam search|略有损失|2x|聊天场景|
|
||
|降低上下文|可能损失|显著|短对话|
|
||
|
||
**怎么选?**
|
||
|
||
- **聊天机器人**:延迟优先,用户等不及
|
||
|
||
- **写作 / 总结**:质量优先,慢一点没关系
|
||
|
||
- **批量处理**:吞吐量优先
|
||
|
||
✅ **简短总结**:推理中速度和质量通常需要权衡,不同场景优先级不同,聊天要快,复杂任务要质量,批量处理要吞吐量。
|
||
|
||
🧠 **简单思维模型**:延迟质量权衡就像**做饭**,快餐(快但一般)、家常菜(平衡)、米其林(慢但好吃),不同客人需求不同。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. 什么都要最好 —— 又快又好又便宜不可能
|
||
|
||
2. 所有场景用同一个配置 —— 要分场景优化
|
||
|
||
3. 只看 benchmark—— 真实用户体验最重要
|
||
|
||
🎯 **小练习 / 项目**:
|
||
为三个场景设计优化方案:1)客服聊天机器人;2)文档总结工具;3)离线批量数据处理,分别说明你会选择什么模型、什么量化、什么优化技术。
|
||
|
||
---
|
||
|
||
## Local AI Ecosystem(本地 AI 生态)
|
||
|
||
### llama\.cpp
|
||
|
||
**什么是 llama\.cpp?**
|
||
|
||
llama\.cpp 是一个纯 C/C\+\+ 实现的 LLM 推理引擎,由 Georgi Gerganov 开发,开启了本地 AI 革命。
|
||
|
||
**核心特点**:
|
||
|
||
1. **纯 C 实现**:无依赖,到处能跑
|
||
|
||
2. **量化支持**:GGUF 格式,2bit\-16bit
|
||
|
||
3. **跨平台**:Windows/Mac/Linux/ 手机 / 浏览器
|
||
|
||
4. **CPU 优先**:没有 GPU 也能跑
|
||
|
||
5. **极快**:手工优化的 SIMD 代码
|
||
|
||
**为什么重要?**
|
||
|
||
- 第一个让普通人能在自己电脑跑大模型的项目
|
||
|
||
- 整个本地 AI 生态的基础
|
||
|
||
- Ollama、LM Studio 都是基于它
|
||
|
||
✅ **简短总结**:llama\.cpp 是纯 C 实现的轻量级 LLM 推理引擎,跨平台、支持 CPU、速度极快,是整个本地运行大模型生态的基石。
|
||
|
||
🧠 **简单思维模型**:llama\.cpp 就像**汽车的发动机**,Ollama、LM Studio 这些是车的外壳和内饰,核心发动机都是 llama\.cpp。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. 只支持 LLaMA—— 现在支持所有主流模型
|
||
|
||
2. CPU 很慢 —— 苹果硅上 CPU 推理很快
|
||
|
||
3. 不支持 GPU—— 现在支持 CUDA/Metal/ROCm
|
||
|
||
🎯 **小练习 / 项目**:
|
||
去[github\.com/ggerganov/llama\.cpp](https://github.com/ggerganov/llama.cpp)下载,编译,然后跑一个 7B Q4 模型,体验一下纯 CPU 跑大模型。
|
||
|
||
---
|
||
|
||
### Ollama
|
||
|
||
**什么是 Ollama?**
|
||
|
||
Ollama 是最流行的本地运行大模型工具,把 llama\.cpp 包装得非常易用,一键下载运行。
|
||
|
||
**核心功能**:
|
||
|
||
1. **一键安装**:一条命令安装
|
||
|
||
2. **模型库**:`ollama run llama2` 自动下载运行
|
||
|
||
3. **OpenAI 兼容 API**:直接替换 OpenAI 接口
|
||
|
||
4. **多模型管理**:本地管理多个模型
|
||
|
||
5. **支持 LoRA**:动态加载 LoRA
|
||
|
||
**常用命令**:
|
||
|
||
```bash
|
||
ollama run llama2 # 运行Llama 2
|
||
ollama run mistral # 运行Mistral
|
||
ollama list # 列出本地模型
|
||
ollama pull qwen:7b # 下载模型
|
||
```
|
||
|
||
✅ **简短总结**:Ollama 将复杂的本地大模型运行简化到一条命令,自带模型库和 API 接口,是普通用户体验本地 AI 的首选工具。
|
||
|
||
🧠 **简单思维模型**:Ollama 就像**手机的应用商店**,搜一下,点一下,APP(模型)就装好了直接用,不用管编译、依赖这些技术细节。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. Ollama 只能跑小模型 —— 现在支持 70B 甚至更大
|
||
|
||
2. 只能命令行用 —— 有很多 GUI 前端
|
||
|
||
3. 性能比原生 llama\.cpp 差 —— 几乎没差别
|
||
|
||
🎯 **小练习 / 项目**:
|
||
安装 Ollama,然后依次运行 llama2、mistral、qwen 三个模型,和它们对话,体验不同模型的特点,然后用 curl 调用它的 API。
|
||
|
||
---
|
||
|
||
### vLLM
|
||
|
||
**什么是 vLLM?**
|
||
|
||
vLLM 是 UC Berkeley 开发的高性能 LLM 推理和服务引擎,是现在性能最好的开源服务框架。
|
||
|
||
**核心技术**:
|
||
|
||
1. **PagedAttention**:像操作系统虚拟内存一样管理 KV Cache
|
||
|
||
2. **连续批处理**:不用等,动态加入请求
|
||
|
||
3. **极致优化**:比 transformers 快 10\-20 倍
|
||
|
||
4. **OpenAI 兼容 API**:直接替换
|
||
|
||
**性能对比**:
|
||
|
||
- transformers:1x
|
||
|
||
- TGI:3\-5x
|
||
|
||
- vLLM:10\-20x
|
||
|
||
✅ **简短总结**:vLLM 通过 PagedAttention 和连续批处理等创新,提供了目前最快的 LLM 推理和服务性能,是生产部署的首选。
|
||
|
||
🧠 **简单思维模型**:vLLM 就像**高铁**,transformers 是绿皮火车,TGI 是动车,vLLM 是又快又稳载客量又大的高铁。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. 只适合大部署 —— 个人用也比 transformers 快很多
|
||
|
||
2. 只支持 NVIDIA—— 现在也支持 AMD 和苹果硅
|
||
|
||
3. 部署很复杂 —— 一条命令就启动了
|
||
|
||
🎯 **小练习 / 项目**:
|
||
用 pip 安装 vLLM,启动一个 OpenAI 兼容的 API 服务,然后用同样的请求分别调用 vLLM 和原生 transformers,对比 tokens/s 速度。
|
||
|
||
---
|
||
|
||
### MLX
|
||
|
||
**什么是 MLX?**
|
||
|
||
MLX 是苹果公司推出的苹果硅芯片专用的机器学习框架,专为 M 系列芯片优化。
|
||
|
||
**核心优势**:
|
||
|
||
1. **统一内存**:CPU/GPU 共享内存,不用拷贝
|
||
|
||
2. **苹果硅优化**:充分利用 Neon、Metal
|
||
|
||
3. **原生支持**:M1/M2/M3 都能发挥最大性能
|
||
|
||
4. **简单易用**:API 类似 NumPy/PyTorch
|
||
|
||
**能做什么**:
|
||
|
||
- 快速推理 LLM
|
||
|
||
- 本地微调(QLoRA)
|
||
|
||
- 训练小模型
|
||
|
||
- M2 Ultra 能跑 70B 模型!
|
||
|
||
✅ **简短总结**:MLX 是苹果专为 M 系列芯片优化的机器学习框架,充分利用苹果硅的统一内存架构,在 Mac 上跑大模型速度远超其他框架。
|
||
|
||
🧠 **简单思维模型**:MLX 就像**苹果芯片的专属司机**,最懂这辆车的性能,能开出最快最稳的速度,其他通用司机(PyTorch)做不到。
|
||
|
||
⚠️ **初学者常见错误**:
|
||
|
||
1. 所有 Mac 都一样 —— 芯片越强差别越大
|
||
|
||
2. 和 PyTorch 速度差不多 ——MLX 快 2\-3 倍
|
||
|
||
3. 只能推理 —— 也能训练和微调
|
||
|
||
🎯 **小练习 / 项目**:
|
||
如果你有 Mac,安装 mlx\-examples,跑一个 Llama 7B 模型,对比 Ollama 的速度,感受苹果硅的威力。
|
||
|
||
---
|
||
|
||
### Hugging Face
|
||
|
||
**什么是 Hugging Face?**
|
||
|
||
Hugging Face 是 AI 界的 GitHub,最大的模型和数据集社区,也是最重要的开源 AI 基础设施。
|
||
|
||
**核心产品**:
|
||
|
||
1. **Hub**:模型仓库,几十万个模型
|
||
|
||
2. **Transformers**:最流行的模型库
|
||
|
||
3. **Datasets**:数据集库
|
||
|
||
4. **Accelerate**:分布式训练
|
||
|
||
5. **PEFT**:参
|
||
|
||
> (注:文档部分内容可能由 AI 生成)
|