Files
Obsidian/MyArticles/Slime高性能 RL 训练框架(v0.1.0).md
coco 8b94d76799 a
2026-07-21 13:57:15 +08:00

8.0 KiB
Raw Permalink Blame History

Slime:高性能 RL 训练框架(v0.1.0)

slime

English

Documentation Ask DeepWiki

slime 是为 RL scaling 设计的 LLM post‑training 框架,提供两大核心能力:

  1. 高性能训练:通过连接 Megatron 与 SGLang,支持各种模式的高效训练;
  2. 灵活的数据生成:通过自定义数据生成接口以及 server based engine,实现任意的数据训练数据生成流程。

slime 是 GLM-5、GLM-4.7、GLM-4.6、GLM-4.5 背后的 RL 训练框架,除此之外,slime 还支持:

  • Qwen3 系列 (Qwen3Next, Qwen3MoE, Qwen3), Qwen2.5 系列;
  • DeepSeek V3 系列 (DeepSeek V3, V3.1, DeepSeek R1);
  • Llama 3。

博文

目录

架构总览

arch

模块说明:

  • training (Megatron):负责主训练流程,从 Data Buffer 读取数据,训练完后将参数同步至 rollout 模块;
  • rollout (SGLang + router):生成新数据(含 reward/verifier),存储至 Data Buffer;
  • data buffer:桥梁模块,管理 prompt 初始化、自定义数据与 rollout 生成方法。

快速开始

有关环境配置、数据准备、训练启动和关键代码分析的完整快速开始指南,请参考:

我们还提供了一些未在快速开始中覆盖的使用示例,请查看 examples。

参数说明

参数分为三类:

  1. megatron 参数:slime 会读取 PYTHONPATH 中的 megatron 里设置的所有参数,可以通过传入如 --tensor-model-parallel-size 2 的方式配置 megatron;
  2. sglang 参数:支持环境中安装的 sglang 的所有参数,这些参数需要以 --sglang 起始,例如 --mem-fraction-static 需要通过 --sglang-mem-fraction-static 传入。
  3. slime 自身的参数:请见:slime/utils/arguments.py

完整使用说明请查阅 使用文档。

开发指南

  • 欢迎贡献! 若有功能建议、性能调优或使用体验反馈,欢迎提交 Issue / PR 😊

  • 使用 pre-commit 保证提交代码风格:

    apt install pre-commit -y
    pre-commit install
    
    # 运行 pre-commit 保证代码风格
    pre-commit run --all-files --show-diff-on-failure --color=always
    
  • 调试技巧请参考 debug 指南

常见 Q&A 与致谢

  • 常见问题请见 Q&A

  • 特别感谢以下项目 & 社区:SGLang、Megatron‑LM、mbridge、OpenRLHF、veRL、Pai-Megatron-Patch 等。

  • 引用 slime 请使用:

@misc{slime_github,
  author       = {Zilin Zhu and Chengxing Xie and Xin Lv and slime Contributors},
  title        = {slime: An LLM post-training framework for RL Scaling},
  year         = {2025},
  howpublished = {\url{https://github.com/THUDM/slime}},
  note         = {GitHub repository. Corresponding author: Xin Lv},
  urldate      = {2025-06-19}
}

从提供的代码库文件和相关信息来看,slime 是由 THUDM(清华大学数据科学研究院)开发的一个高性能强化学习(RL)训练框架,聚焦于大语言模型(LLM)的 RL 训练场景,以下是核心信息梳理:

一、核心定位

slime 主打高性能、高正确性的 RL 训练能力,尤其针对大模型(如 GLM4 9B、Qwen3 30B-A3B、glm4.5-106B-A12B、kimi-k2 等)的 RL 训练做了深度优化,提供端到端的正确性验证和高效的训练基础设施。

二、关键特性

  1. 正确性保障

    1. 端到端 CI 验证:每个 PR 会运行单机 GLM4 9B/Qwen3 30B-A3B 训练,强制校验核心指标(如第一个 rollout 的 log prob 与参考模型完全一致、首个训练步的 ppo_kl 严格为 0)。

    2. 严格的数值一致性校验,避免训练过程中的精度偏差。

  2. 大模型适配

    1. 支持多款大模型配置(MIMO-7B、GLM4.5-106B-A12B、Kimi-K2 等),适配 MoE(混合专家)架构、Group Query Attention、RoPE 位置编码、RMSNorm 归一化等主流大模型组件。

    2. 提供精细化的模型参数配置(如专家数量、路由策略、FFN 维度、注意力头数等)。

  3. 高性能优化

    1. 内存管理:通过 release_memory_occupation/resume_memory_occupation 接口优化 KV 缓存内存占用,支持 NCCL 通信暂停/恢复以适配资源调度。

    2. 混合精度训练:RMSNorm 支持 float32 权重、输入类型转换等精度控制,适配 RL 训练的数值稳定性需求。

    3. 分布式通信:基于 NCCL 实现高效的张量并行/流水线并行通信,适配大模型分布式训练。

  4. 安全与工具链

    1. 内置 Python 沙箱(PythonSandbox):限制危险操作(如 os/subprocess 导入、eval/exec 执行),仅允许数学/数据结构类模块,保障代码执行安全。

    2. 完善的文档构建流程:支持中英文双语文档(en/zh),基于 Sphinx 构建,提供本地预览脚本(serve.sh)。

三、核心文件/脚本说明

文件/脚本 功能
scripts/models/ 各大模型(GLM4.5、Kimi-K2、MIMO-7B)的训练参数配置脚本
docs/ 文档构建脚本(build.sh/build_all.sh/serve.sh)+ 配置(conf.py)
docker/ 镜像补丁(sglang 适配)、版本管理、环境配置
slime/utils/ 工具函数包
examples/retool/ 工具沙箱、示例代码
setup.py 自定义 Wheel 打包逻辑,适配不同系统(Linux/macOS)的包分发
LICENSE Apache 2.0 开源协议,允许商用、修改、分发(需保留版权声明)

四、快速上手

1. 文档预览

# 安装文档依赖
apt-get update && apt-get install -y pandoc parallel retry
pip install -r docs/requirements.txt

# 构建中英文文档
cd slime/docs
./build_all.sh

# 本地预览(默认 8000 端口)
./serve.sh all  # 或指定语言:./serve.sh en/zh

2. 核心依赖

  • 基础:Python 3.x、PyTorch、NCCL(分布式通信)

  • 文档:Sphinx、sphinx-book-theme、myst-parser

  • 训练:transformers、triton、torch 等(autodoc_mock_imports 中可见核心依赖)

五、开源协议

采用 Apache License 2.0,允许:

  • 免费使用、修改、分发(商业/非商业);

  • 衍生作品需保留原版权声明、修改说明;

  • 专利授权(但发起专利诉讼则授权终止);

  • 无担保(AS IS),作者不承担使用风险。

六、适用场景

  • 大语言模型的 RLHF/RLAIF 训练;

  • 强化学习(RL)的规模化训练(scaling);

  • MoE 架构大模型的高效训练与验证。

如果需要更具体的使用指南(如训练脚本运行、环境搭建、二次开发),可参考项目 docs/ 目录下的中英文文档,或关注项目的 release 版本(当前标注为 v0.1.0,聚焦 RL 训练框架的基础能力)。