Files
Obsidian/MyArticles/Slime高性能 RL 训练框架(v0.1.0).md
coco 8b94d76799 a
2026-07-21 13:57:15 +08:00

194 lines
8.0 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Slime:高性能 RL 训练框架(v0.1.0)
# slime
[English](./README.md)
[![Documentation](https://img.shields.io/badge/docs-latest-brightgreen.svg?style=flat)](https://thudm.github.io/slime/)
[![Ask DeepWiki](https://deepwiki.com/badge.svg)](https://deepwiki.com/THUDM/slime)
**slime** 是为 RL scaling 设计的 LLM post‑training 框架,提供两大核心能力:
1. **高性能训练**:通过连接 Megatron 与 SGLang,支持各种模式的高效训练;
2. **灵活的数据生成**:通过自定义数据生成接口以及 server based engine,实现任意的数据训练数据生成流程。
slime 是 [GLM-5](https://z.ai/blog/glm-5)、[GLM-4.7](https://z.ai/blog/glm-4.7)、[GLM-4.6](https://z.ai/blog/glm-4.6)、[GLM-4.5](https://z.ai/blog/glm-4.5) 背后的 RL 训练框架,除此之外,slime 还支持:
- Qwen3 系列 (Qwen3Next, Qwen3MoE, Qwen3), Qwen2.5 系列;
- DeepSeek V3 系列 (DeepSeek V3, V3.1, DeepSeek R1);
- Llama 3。
## 博文
- 我们的愿景:[slime:为 RL Scaling 设计的 SGLang-Native 后训练框架](https://thudm.github.io/slime/zh/blogs/introducing_slime.html)
- 关于纯异步 agentic 训练的一些想法:[Agent-Oriented Design: An Asynchronous and Decoupled Framework for Agentic RL](https://www.notion.so/Agent-Oriented-Design-An-Asynchronous-and-Decoupled-Framework-for-Agentic-RL-2278e692d081802cbdd5d37cef76a547)
- v0.1.0 日志:[slime v0.1.0: 重新定义高性能 RL 训练框架](https://zhuanlan.zhihu.com/p/1945237948166547268)
## 目录
- [架构总览](#架构总览)
- [快速开始](#快速开始)
- [Checkpoint 格式转换](#checkpoint-格式转换)
- [启动训练流程](#启动训练流程)
- [参数说明](#参数说明)
- [开发指南](#开发指南)
- [常见 Q&A 与致谢](#常见-qa-与致谢)
## 架构总览
![arch](./imgs/arch.png)
**模块说明**:
- **training (Megatron)**:负责主训练流程,从 Data Buffer 读取数据,训练完后将参数同步至 rollout 模块;
- **rollout (SGLang + router)**:生成新数据(含 reward/verifier),存储至 Data Buffer;
- **data buffer**:桥梁模块,管理 prompt 初始化、自定义数据与 rollout 生成方法。
## 快速开始
有关环境配置、数据准备、训练启动和关键代码分析的完整快速开始指南,请参考:
- [快速开始指南](./docs/zh/get_started/quick_start.md)
我们还提供了一些未在快速开始中覆盖的使用示例,请查看 [examples](examples/)。
## 参数说明
参数分为三类:
1. **megatron 参数**:slime 会读取 `PYTHONPATH` 中的 megatron 里设置的所有参数,可以通过传入如 `--tensor-model-parallel-size 2` 的方式配置 megatron;
2. **sglang 参数**:支持环境中安装的 sglang 的所有参数,这些参数需要以 `--sglang` 起始,例如 `--mem-fraction-static` 需要通过 `--sglang-mem-fraction-static` 传入。
3. **slime 自身的参数**:请见:[slime/utils/arguments.py](slime/utils/arguments.py)
完整使用说明请查阅 [使用文档](docs/zh/get_started/usage.md)。
## 开发指南
- **欢迎贡献!** 若有功能建议、性能调优或使用体验反馈,欢迎提交 Issue / PR 😊
- 使用 [pre-commit](https://pre-commit.com/) 保证提交代码风格:
```bash
apt install pre-commit -y
pre-commit install
# 运行 pre-commit 保证代码风格
pre-commit run --all-files --show-diff-on-failure --color=always
```
- 调试技巧请参考 [debug 指南](docs/zh/developer_guide/debug.md)
## 常见 Q&A 与致谢
- 常见问题请见 [Q&A](docs/zh/get_started/qa.md)
- 特别感谢以下项目 & 社区:SGLang、Megatron‑LM、mbridge、OpenRLHF、veRL、Pai-Megatron-Patch 等。
- 引用 slime 请使用:
```bibtex
@misc{slime_github,
author = {Zilin Zhu and Chengxing Xie and Xin Lv and slime Contributors},
title = {slime: An LLM post-training framework for RL Scaling},
year = {2025},
howpublished = {\url{https://github.com/THUDM/slime}},
note = {GitHub repository. Corresponding author: Xin Lv},
urldate = {2025-06-19}
}
```
从提供的代码库文件和相关信息来看,**slime** 是由 THUDM(清华大学数据科学研究院)开发的一个高性能强化学习(RL)训练框架,聚焦于大语言模型(LLM)的 RL 训练场景,以下是核心信息梳理:
### 一、核心定位
slime 主打**高性能、高正确性**的 RL 训练能力,尤其针对大模型(如 GLM4 9B、Qwen3 30B-A3B、glm4.5-106B-A12B、kimi-k2 等)的 RL 训练做了深度优化,提供端到端的正确性验证和高效的训练基础设施。
### 二、关键特性
1. **正确性保障**
1. 端到端 CI 验证:每个 PR 会运行单机 GLM4 9B/Qwen3 30B-A3B 训练,强制校验核心指标(如第一个 rollout 的 log prob 与参考模型完全一致、首个训练步的 ppo_kl 严格为 0)。
2. 严格的数值一致性校验,避免训练过程中的精度偏差。
2. **大模型适配**
1. 支持多款大模型配置(MIMO-7B、GLM4.5-106B-A12B、Kimi-K2 等),适配 MoE(混合专家)架构、Group Query Attention、RoPE 位置编码、RMSNorm 归一化等主流大模型组件。
2. 提供精细化的模型参数配置(如专家数量、路由策略、FFN 维度、注意力头数等)。
3. **高性能优化**
1. 内存管理:通过 `release_memory_occupation/resume_memory_occupation` 接口优化 KV 缓存内存占用,支持 NCCL 通信暂停/恢复以适配资源调度。
2. 混合精度训练:RMSNorm 支持 float32 权重、输入类型转换等精度控制,适配 RL 训练的数值稳定性需求。
3. 分布式通信:基于 NCCL 实现高效的张量并行/流水线并行通信,适配大模型分布式训练。
4. **安全与工具链**
1. 内置 Python 沙箱(`PythonSandbox`):限制危险操作(如 `os/subprocess` 导入、`eval/exec` 执行),仅允许数学/数据结构类模块,保障代码执行安全。
2. 完善的文档构建流程:支持中英文双语文档(en/zh),基于 Sphinx 构建,提供本地预览脚本(`serve.sh`)。
### 三、核心文件/脚本说明
|文件/脚本|功能|
|---|---|
|`scripts/models/`|各大模型(GLM4.5、Kimi-K2、MIMO-7B)的训练参数配置脚本|
|`docs/`|文档构建脚本(`build.sh/build_all.sh/serve.sh`)+ 配置(`conf.py`)|
|`docker/`|镜像补丁(sglang 适配)、版本管理、环境配置|
|`slime/utils/`|工具函数包|
|`examples/retool/`|工具沙箱、示例代码|
|`setup.py`|自定义 Wheel 打包逻辑,适配不同系统(Linux/macOS)的包分发|
|`LICENSE`|Apache 2.0 开源协议,允许商用、修改、分发(需保留版权声明)|
### 四、快速上手
#### 1. 文档预览
```Bash
# 安装文档依赖
apt-get update && apt-get install -y pandoc parallel retry
pip install -r docs/requirements.txt
# 构建中英文文档
cd slime/docs
./build_all.sh
# 本地预览(默认 8000 端口)
./serve.sh all # 或指定语言:./serve.sh en/zh
```
#### 2. 核心依赖
- 基础:Python 3.x、PyTorch、NCCL(分布式通信)
- 文档:Sphinx、sphinx-book-theme、myst-parser
- 训练:transformers、triton、torch 等(`autodoc_mock_imports` 中可见核心依赖)
### 五、开源协议
采用 **Apache License 2.0**,允许:
- 免费使用、修改、分发(商业/非商业);
- 衍生作品需保留原版权声明、修改说明;
- 专利授权(但发起专利诉讼则授权终止);
- 无担保(AS IS),作者不承担使用风险。
### 六、适用场景
- 大语言模型的 RLHF/RLAIF 训练;
- 强化学习(RL)的规模化训练(scaling);
- MoE 架构大模型的高效训练与验证。
如果需要更具体的使用指南(如训练脚本运行、环境搭建、二次开发),可参考项目 `docs/` 目录下的中英文文档,或关注项目的 release 版本(当前标注为 v0.1.0,聚焦 RL 训练框架的基础能力)。