# Slime:高性能 RL 训练框架(v0.1.0) # slime [English](./README.md) [![Documentation](https://img.shields.io/badge/docs-latest-brightgreen.svg?style=flat)](https://thudm.github.io/slime/) [![Ask DeepWiki](https://deepwiki.com/badge.svg)](https://deepwiki.com/THUDM/slime) **slime** 是为 RL scaling 设计的 LLM post‑training 框架,提供两大核心能力: 1. **高性能训练**:通过连接 Megatron 与 SGLang,支持各种模式的高效训练; 2. **灵活的数据生成**:通过自定义数据生成接口以及 server based engine,实现任意的数据训练数据生成流程。 slime 是 [GLM-5](https://z.ai/blog/glm-5)、[GLM-4.7](https://z.ai/blog/glm-4.7)、[GLM-4.6](https://z.ai/blog/glm-4.6)、[GLM-4.5](https://z.ai/blog/glm-4.5) 背后的 RL 训练框架,除此之外,slime 还支持: - Qwen3 系列 (Qwen3Next, Qwen3MoE, Qwen3), Qwen2.5 系列; - DeepSeek V3 系列 (DeepSeek V3, V3.1, DeepSeek R1); - Llama 3。 ## 博文 - 我们的愿景:[slime:为 RL Scaling 设计的 SGLang-Native 后训练框架](https://thudm.github.io/slime/zh/blogs/introducing_slime.html) - 关于纯异步 agentic 训练的一些想法:[Agent-Oriented Design: An Asynchronous and Decoupled Framework for Agentic RL](https://www.notion.so/Agent-Oriented-Design-An-Asynchronous-and-Decoupled-Framework-for-Agentic-RL-2278e692d081802cbdd5d37cef76a547) - v0.1.0 日志:[slime v0.1.0: 重新定义高性能 RL 训练框架](https://zhuanlan.zhihu.com/p/1945237948166547268) ## 目录 - [架构总览](#架构总览) - [快速开始](#快速开始) - [Checkpoint 格式转换](#checkpoint-格式转换) - [启动训练流程](#启动训练流程) - [参数说明](#参数说明) - [开发指南](#开发指南) - [常见 Q&A 与致谢](#常见-qa-与致谢) ## 架构总览 ![arch](./imgs/arch.png) **模块说明**: - **training (Megatron)**:负责主训练流程,从 Data Buffer 读取数据,训练完后将参数同步至 rollout 模块; - **rollout (SGLang + router)**:生成新数据(含 reward/verifier),存储至 Data Buffer; - **data buffer**:桥梁模块,管理 prompt 初始化、自定义数据与 rollout 生成方法。 ## 快速开始 有关环境配置、数据准备、训练启动和关键代码分析的完整快速开始指南,请参考: - [快速开始指南](./docs/zh/get_started/quick_start.md) 我们还提供了一些未在快速开始中覆盖的使用示例,请查看 [examples](examples/)。 ## 参数说明 参数分为三类: 1. **megatron 参数**:slime 会读取 `PYTHONPATH` 中的 megatron 里设置的所有参数,可以通过传入如 `--tensor-model-parallel-size 2` 的方式配置 megatron; 2. **sglang 参数**:支持环境中安装的 sglang 的所有参数,这些参数需要以 `--sglang` 起始,例如 `--mem-fraction-static` 需要通过 `--sglang-mem-fraction-static` 传入。 3. **slime 自身的参数**:请见:[slime/utils/arguments.py](slime/utils/arguments.py) 完整使用说明请查阅 [使用文档](docs/zh/get_started/usage.md)。 ## 开发指南 - **欢迎贡献!** 若有功能建议、性能调优或使用体验反馈,欢迎提交 Issue / PR 😊 - 使用 [pre-commit](https://pre-commit.com/) 保证提交代码风格: ```bash apt install pre-commit -y pre-commit install # 运行 pre-commit 保证代码风格 pre-commit run --all-files --show-diff-on-failure --color=always ``` - 调试技巧请参考 [debug 指南](docs/zh/developer_guide/debug.md) ## 常见 Q&A 与致谢 - 常见问题请见 [Q&A](docs/zh/get_started/qa.md) - 特别感谢以下项目 & 社区:SGLang、Megatron‑LM、mbridge、OpenRLHF、veRL、Pai-Megatron-Patch 等。 - 引用 slime 请使用: ```bibtex @misc{slime_github, author = {Zilin Zhu and Chengxing Xie and Xin Lv and slime Contributors}, title = {slime: An LLM post-training framework for RL Scaling}, year = {2025}, howpublished = {\url{https://github.com/THUDM/slime}}, note = {GitHub repository. Corresponding author: Xin Lv}, urldate = {2025-06-19} } ``` 从提供的代码库文件和相关信息来看,**slime** 是由 THUDM(清华大学数据科学研究院)开发的一个高性能强化学习(RL)训练框架,聚焦于大语言模型(LLM)的 RL 训练场景,以下是核心信息梳理: ### 一、核心定位 slime 主打**高性能、高正确性**的 RL 训练能力,尤其针对大模型(如 GLM4 9B、Qwen3 30B-A3B、glm4.5-106B-A12B、kimi-k2 等)的 RL 训练做了深度优化,提供端到端的正确性验证和高效的训练基础设施。 ### 二、关键特性 1. **正确性保障** 1. 端到端 CI 验证:每个 PR 会运行单机 GLM4 9B/Qwen3 30B-A3B 训练,强制校验核心指标(如第一个 rollout 的 log prob 与参考模型完全一致、首个训练步的 ppo_kl 严格为 0)。 2. 严格的数值一致性校验,避免训练过程中的精度偏差。 2. **大模型适配** 1. 支持多款大模型配置(MIMO-7B、GLM4.5-106B-A12B、Kimi-K2 等),适配 MoE(混合专家)架构、Group Query Attention、RoPE 位置编码、RMSNorm 归一化等主流大模型组件。 2. 提供精细化的模型参数配置(如专家数量、路由策略、FFN 维度、注意力头数等)。 3. **高性能优化** 1. 内存管理:通过 `release_memory_occupation/resume_memory_occupation` 接口优化 KV 缓存内存占用,支持 NCCL 通信暂停/恢复以适配资源调度。 2. 混合精度训练:RMSNorm 支持 float32 权重、输入类型转换等精度控制,适配 RL 训练的数值稳定性需求。 3. 分布式通信:基于 NCCL 实现高效的张量并行/流水线并行通信,适配大模型分布式训练。 4. **安全与工具链** 1. 内置 Python 沙箱(`PythonSandbox`):限制危险操作(如 `os/subprocess` 导入、`eval/exec` 执行),仅允许数学/数据结构类模块,保障代码执行安全。 2. 完善的文档构建流程:支持中英文双语文档(en/zh),基于 Sphinx 构建,提供本地预览脚本(`serve.sh`)。 ### 三、核心文件/脚本说明 |文件/脚本|功能| |---|---| |`scripts/models/`|各大模型(GLM4.5、Kimi-K2、MIMO-7B)的训练参数配置脚本| |`docs/`|文档构建脚本(`build.sh/build_all.sh/serve.sh`)+ 配置(`conf.py`)| |`docker/`|镜像补丁(sglang 适配)、版本管理、环境配置| |`slime/utils/`|工具函数包| |`examples/retool/`|工具沙箱、示例代码| |`setup.py`|自定义 Wheel 打包逻辑,适配不同系统(Linux/macOS)的包分发| |`LICENSE`|Apache 2.0 开源协议,允许商用、修改、分发(需保留版权声明)| ### 四、快速上手 #### 1. 文档预览 ```Bash # 安装文档依赖 apt-get update && apt-get install -y pandoc parallel retry pip install -r docs/requirements.txt # 构建中英文文档 cd slime/docs ./build_all.sh # 本地预览(默认 8000 端口) ./serve.sh all # 或指定语言:./serve.sh en/zh ``` #### 2. 核心依赖 - 基础:Python 3.x、PyTorch、NCCL(分布式通信) - 文档:Sphinx、sphinx-book-theme、myst-parser - 训练:transformers、triton、torch 等(`autodoc_mock_imports` 中可见核心依赖) ### 五、开源协议 采用 **Apache License 2.0**,允许: - 免费使用、修改、分发(商业/非商业); - 衍生作品需保留原版权声明、修改说明; - 专利授权(但发起专利诉讼则授权终止); - 无担保(AS IS),作者不承担使用风险。 ### 六、适用场景 - 大语言模型的 RLHF/RLAIF 训练; - 强化学习(RL)的规模化训练(scaling); - MoE 架构大模型的高效训练与验证。 如果需要更具体的使用指南(如训练脚本运行、环境搭建、二次开发),可参考项目 `docs/` 目录下的中英文文档,或关注项目的 release 版本(当前标注为 v0.1.0,聚焦 RL 训练框架的基础能力)。