12 KiB
OpenClaw-RL 全量使用指南(含 Mac mini M4 一键部署)
OpenClaw-RL 全量使用指南(含 Mac mini M4 一键部署)
一、OpenClaw-RL 核心介绍
OpenClaw-RL 是面向大模型智能体的全异步强化学习框架,核心作用是让 AI 代理在真实对话/交互中边服务、边自动学习、持续进化,实现“对话即训练、使用即优化”的闭环。
1.1 核心定位与解决的痛点
-
定位:为 OpenClaw(“小龙虾”)等自托管 AI 代理提供在线、异步、隐私优先的强化学习能力,让静态模型变成可自我迭代的自适应智能体。
-
解决痛点:
-
传统 RL 需中断服务、批量训练,无法边用边学。
-
标注成本高、数据隐私风险大。
-
预训练模型“通才”难适配个人/场景化“专才”需求。
-
1.2 核心工作机制:全异步四组件架构
四大模块完全解耦、并行运行,互不阻塞,实现“服务 + 训练”无感并行:
-
Agent Serving(代理服务):包装自托管模型为 OpenAI 兼容 API,正常响应用户对话/工具调用,不中断、不等待训练。
-
Rollout Collection(轨迹采集):实时截取多轮对话/交互轨迹,自动区分可训练主线与非训练支线,以用户下一轮回复、工具输出等作为天然“下一状态”信号。
-
PRM Judging(过程奖励模型打分):异步对每一步动作打分,生成奖励信号(如用户满意/纠正、任务完成度),支持多数投票提升鲁棒性。
-
Policy Training(策略训练):用采集的轨迹与奖励实时更新模型权重,完成后热交换权重,模型继续服务全程无感知。
1.3 核心能力与技术亮点
-
双学习范式并行:GRPO(二元强化学习)+ OPD(在线策略蒸馏),从奖励信号+文本导向双维度优化。
-
零标注、全自动训练:自动从真实交互中提取训练信号,降低门槛。
-
隐私优先、本地部署:模型、数据、训练全在本地,零外部 API 调用、数据不外流。
-
无缝集成与工程化:兼容 OpenAI API,支持多 GPU 集群,适合生产环境。
1.4 典型应用场景
-
个人 AI 助理:学习用户偏好,越用越懂。
-
企业智能客服:从真实对话自动优化话术。
-
办公/开发自动化:迭代工具调用策略,提升成功率。
-
机器人/自主 Agent:从环境交互中持续进化行为策略。
1.5 与传统 RL 方案的关键区别
| 特性 | OpenClaw-RL | 传统 LLM-RL 方案 |
|---|---|---|
| 训练模式 | 全异步、在线、边服务边训练 | 集中式、批量、离线训练 |
| 数据来源 | 真实实时交互,零标注 | 预收集数据集,需大量标注 |
| 服务可用性 | 全程不中断、热更新权重 | 训练时服务暂停/降级 |
| 隐私性 | 本地优先、数据不外流 | 常依赖云端 API/数据上传 |
| 学习信号 | 奖励 + 文本导向(OPD)双信号 | 多为单一奖励信号 |
二、OpenClaw-RL 通用部署与训练指南
2.1 最简部署+训练命令(一键跑通核心流程)
基于 Linux/macOS 环境(Windows 需适配 WSL),需提前安装 Python 3.9+、Git、CUDA 11.8+(无 GPU 可替换为 CPU 版本):
# 1. 克隆仓库+进入目录
git clone https://github.com/OpenClaw/OpenClaw-RL.git && cd OpenClaw-RL
# 2. 安装依赖(建议用虚拟环境)
python -m venv claw-venv && source claw-venv/bin/activate # Linux/macOS
# 若为Windows: claw-venv\Scripts\activate
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
# 3. 快速配置(使用默认示例配置,适配开源LLM如Llama-2)
cp configs/example_config.yaml configs/my_config.yaml
# 4. 启动全异步训练+服务(最简模式,本地Llama-2-7B为例)
python run_claw_rl.py \
--config configs/my_config.yaml \
--model-path ./models/llama-2-7b-chat \ # 替换为你的模型本地路径
--serve-port 8000 \ # 代理服务端口
--train-mode async \ # 全异步训练模式
--enable-opd true # 开启OPD文本导向学习
2.2 核心启动命令全参数解析
| 参数 | 类型 | 必选/可选 | 默认值 | 说明 |
|---|---|---|---|---|
--config |
路径 | 必选 | - | 配置文件路径(核心参数入口) |
--model-path |
路径 | 必选 | - | 本地模型路径(支持Hugging Face格式) |
--model-type |
字符串 | 可选 | auto |
模型类型(llama/qwen/baichuan/auto) |
--serve-port |
整数 | 可选 | 8000 | OpenAI兼容API服务端口 |
--train-mode |
字符串 | 可选 | async |
训练模式:async(边服务边训练)/batch(离线训练) |
--enable-grpo |
布尔 | 可选 | true |
开启GRPO二元强化学习 |
--enable-opd |
布尔 | 可选 | true |
开启OPD在线策略蒸馏 |
--reward-model |
路径/字符串 | 可选 | same |
奖励模型:same(复用主模型)/自定义路径 |
--gpu-id |
整数/列表 | 可选 | 0 | GPU编号(多卡用逗号分隔;CPU设为-1;M4设为mps) |
--save-interval |
整数 | 可选 | 100 | 模型权重保存间隔(训练步数) |
--log-dir |
路径 | 可选 | ./logs |
日志/训练数据保存目录 |
--privacy-mode |
布尔 | 可选 | true |
隐私模式(禁用数据上传) |
--hot-swap |
布尔 | 可选 | true |
开启权重热交换(无缝更新) |
2.3 典型场景适配命令
场景1:低显存(8G/16G GPU)量化部署
python run_claw_rl.py \
--config configs/my_config.yaml \
--model-path ./models/llama-2-7b-chat-GPTQ \
--model-type llama \
--serve-port 8000 \
--train-mode async \
--gpu-id 0 \
--load-in-4bit true # 4bit量化(也可--load-in-8bit true)
场景2:纯CPU环境(测试/轻量使用)
python run_claw_rl.py \
--config configs/my_config.yaml \
--model-path ./models/phi-2 # 小模型适配CPU
--serve-port 8000 \
--train-mode async \
--gpu-id -1 \ # 指定CPU
--enable-opd true
场景3:批量离线训练(无服务,仅优化模型)
python run_claw_rl.py \
--config configs/my_config.yaml \
--model-path ./models/llama-2-7b-chat \
--train-mode batch \
--data-path ./data/chat_history.jsonl # 离线交互数据
--epochs 5 \ # 训练轮数
--batch-size 4 \
--save-dir ./trained_models # 训练后模型保存路径
2.4 配置文件关键修改(my_config.yaml)
# 模型基础配置
model:
max_length: 2048 # 最大上下文长度
temperature: 0.7 # 生成温度
top_p: 0.95
# 强化学习配置
rl:
learning_rate: 1e-5 # 学习率(小模型建议1e-4)
gamma: 0.99 # 奖励折扣因子
batch_size: 8 # 训练批次大小(显存不足调小)
update_steps: 10 # 每N步更新一次策略
# 服务配置
serve:
cors: true # 允许跨域(前端调用)
log_requests: true # 记录请求(用于训练)
2.5 验证部署成功
# 测试API服务是否正常(curl命令)
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "llama-2-7b-chat",
"messages": [{"role": "user", "content": "你好,介绍下自己"}]
}'
返回JSON格式的回复即表示服务启动成功;同时日志目录(./logs)会生成交互轨迹文件,训练进程会自动采集并更新模型。
三、Mac mini M4 专属部署指南
3.1 兼容性说明
OpenClaw-RL 原生支持 Apple Silicon(M1/M2/M3/M4),macOS 12+ 即可运行;M4 的 MPS 加速可自动调用,是本地部署的理想机型。
| M4 内存 | 推荐模型 | 运行模式 | 体验 |
|---|---|---|---|
| 16GB | 7B 量化(Qwen-7B、Llama-2-7B) | 异步训练 + 本地推理 | 流畅,适合日常使用 |
| 24GB/32GB | 7B–14B 模型 | 全功能异步 RL | 多会话、多工具更从容 |
3.2 Mac mini M4 一键部署脚本
创建文件 deploy_claw_rl_m4.sh,复制以下内容(含环境检查、依赖安装、模型下载、启动服务):
#!/bin/bash
set -e # 出错即停止
# ====================== 环境检查 ======================
echo "====== 开始检查 Mac mini M4 环境 ======"
# 检查 macOS 版本
OS_VERSION=$(sw_vers -productVersion | cut -d '.' -f 1)
if [ $OS_VERSION -lt 12 ]; then
echo "错误:需要 macOS 12+,当前版本为 $(sw_vers -productVersion)"
exit 1
fi
# 检查 Rosetta 2
if ! /usr/bin/pgrep oahd >/dev/null 2>&1; then
echo "安装 Rosetta 2..."
softwareupdate --install-rosetta --agree-to-license
fi
# 检查 Homebrew
if ! command -v brew &> /dev/null; then
echo "安装 Homebrew..."
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
fi
# 检查 Python 3.10+
if ! command -v python3.11 &> /dev/null; then
echo "安装 Python 3.11..."
brew install python@3.11
fi
# ====================== 克隆仓库 & 创建虚拟环境 ======================
echo "====== 克隆仓库并创建虚拟环境 ======"
if [ ! -d "OpenClaw-RL" ]; then
git clone https://github.com/OpenClaw/OpenClaw-RL.git
fi
cd OpenClaw-RL
# 创建虚拟环境
if [ ! -d "claw-venv" ]; then
python3.11 -m venv claw-venv
fi
source claw-venv/bin/activate
# ====================== 安装依赖 ======================
echo "====== 安装依赖 ======"
# 安装 MPS 兼容的 PyTorch
pip install torch==2.2.0 torchvision==0.17.0 torchaudio==2.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
# 安装 OpenClaw-RL 依赖
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
# 安装量化依赖(适配 M4 低显存)
pip install auto-gptq transformers accelerate bitsandbytes -i https://pypi.tuna.tsinghua.edu.cn/simple
# ====================== 下载适配 M4 的模型(Qwen-2.5-7B 4bit) ======================
echo "====== 下载适配 M4 的模型 ======"
mkdir -p models
cd models
# 下载 Qwen-2.5-7B-Chat-Int4(适配 M4 16GB)
if [ ! -d "qwen-2.5-7b-chat-int4" ]; then
git lfs install
git clone https://www.modelscope.cn/Qwen/Qwen-2.5-7B-Chat-Int4.git qwen-2.5-7b-chat-int4
fi
cd ..
# ====================== 配置文件修改 ======================
echo "====== 配置 M4 专属配置文件 ======"
cp configs/example_config.yaml configs/m4_config.yaml
# 修改配置文件(适配 MPS 加速、低显存)
sed -i '' 's/device: cpu/device: mps/g' configs/m4_config.yaml
sed -i '' 's/batch_size: 8/batch_size: 4/g' configs/m4_config.yaml
sed -i '' 's/max_length: 1024/max_length: 2048/g' configs/m4_config.yaml
# ====================== 启动服务 ======================
echo "====== 启动 OpenClaw-RL(M4 专属模式) ======"
python run_claw_rl.py \
--config configs/m4_config.yaml \
--model-path ./models/qwen-2.5-7b-chat-int4 \
--model-type qwen \
--serve-port 8000 \
--train-mode async \
--gpu-id mps \
--enable-opd true \
--load-in-4bit true \
--privacy-mode true \
--hot-swap true
echo "====== 启动完成!可访问 http://localhost:8000 测试 ======"
echo "提示:若需停止服务,按 Ctrl+C 即可"
3.3 脚本使用方法
-
打开 Mac 终端,执行以下命令赋予脚本执行权限:
chmod +x deploy_claw_rl_m4.sh -
运行脚本:
./deploy_claw_rl_m4.sh -
脚本完成后,自动启动 OpenClaw-RL 服务,可通过 curl 验证:
curl http://localhost:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "qwen-2.5-7b-chat-int4", "messages": [{"role": "user", "content": "你好,我是 Mac mini M4 用户"}] }'
3.4 M4 运行常见问题与优化
-
内存不足(OOM):优先用 4bit 量化模型,降低
batch_size至 4/2,关闭后台应用。 -
MPS 不生效:确保 PyTorch ≥ 2.1.0,启动参数设
--gpu-id mps,配置文件设device: mps;临时改用--gpu-id -1(CPU 模式)排查。 -
训练速度:M4 异步训练速度略低于高端 NVIDIA GPU,但完全可用,优先用 7B 模型。
四、总结
-
OpenClaw-RL 是全异步强化学习框架,核心实现“对话即训练、使用即优化”,隐私优先且本地部署友好。
-
通用部署需克隆仓库、配置环境、启动异步训练,核心参数为
--config、--model-path、--train-mode async。 -
Mac mini M4 可通过专属一键脚本快速部署,16GB 内存适配 7B 量化模型,24GB+ 可运行 14B 模型,MPS 加速提升运行效率。
-
验证部署成功的核心方式是调用 OpenAI 兼容 API,返回 JSON 回复即表示服务正常。
(注:文档部分内容可能由 AI 生成)