Files
Obsidian/MyArticles/OpenClaw-RL 全量使用指南(含 Mac mini M4 一键部署).md
coco 8b94d76799 a
2026-07-21 13:57:15 +08:00

338 lines
12 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# OpenClaw-RL 全量使用指南(含 Mac mini M4 一键部署)
# OpenClaw-RL 全量使用指南(含 Mac mini M4 一键部署)
## 一、OpenClaw-RL 核心介绍
OpenClaw-RL 是面向大模型智能体的**全异步强化学习框架**,核心作用是让 AI 代理在**真实对话/交互中边服务、边自动学习、持续进化**,实现“对话即训练、使用即优化”的闭环。
### 1.1 核心定位与解决的痛点
- **定位**:为 OpenClaw(“小龙虾”)等自托管 AI 代理提供**在线、异步、隐私优先**的强化学习能力,让静态模型变成可自我迭代的自适应智能体。
- **解决痛点**:
- 传统 RL 需中断服务、批量训练,无法边用边学。
- 标注成本高、数据隐私风险大。
- 预训练模型“通才”难适配个人/场景化“专才”需求。
### 1.2 核心工作机制:全异步四组件架构
四大模块完全解耦、并行运行,互不阻塞,实现“服务 + 训练”无感并行:
1. **Agent Serving(代理服务)**:包装自托管模型为 OpenAI 兼容 API,正常响应用户对话/工具调用,不中断、不等待训练。
2. **Rollout Collection(轨迹采集)**:实时截取多轮对话/交互轨迹,自动区分可训练主线与非训练支线,以用户下一轮回复、工具输出等作为天然“下一状态”信号。
3. **PRM Judging(过程奖励模型打分)**:异步对每一步动作打分,生成奖励信号(如用户满意/纠正、任务完成度),支持多数投票提升鲁棒性。
4. **Policy Training(策略训练)**:用采集的轨迹与奖励实时更新模型权重,完成后热交换权重,模型继续服务全程无感知。
### 1.3 核心能力与技术亮点
- **双学习范式并行**:GRPO(二元强化学习)+ OPD(在线策略蒸馏),从奖励信号+文本导向双维度优化。
- **零标注、全自动训练**:自动从真实交互中提取训练信号,降低门槛。
- **隐私优先、本地部署**:模型、数据、训练全在本地,零外部 API 调用、数据不外流。
- **无缝集成与工程化**:兼容 OpenAI API,支持多 GPU 集群,适合生产环境。
### 1.4 典型应用场景
- 个人 AI 助理:学习用户偏好,越用越懂。
- 企业智能客服:从真实对话自动优化话术。
- 办公/开发自动化:迭代工具调用策略,提升成功率。
- 机器人/自主 Agent:从环境交互中持续进化行为策略。
### 1.5 与传统 RL 方案的关键区别
|特性|OpenClaw-RL|传统 LLM-RL 方案|
|---|---|---|
|训练模式|全异步、在线、边服务边训练|集中式、批量、离线训练|
|数据来源|真实实时交互,零标注|预收集数据集,需大量标注|
|服务可用性|全程不中断、热更新权重|训练时服务暂停/降级|
|隐私性|本地优先、数据不外流|常依赖云端 API/数据上传|
|学习信号|奖励 + 文本导向(OPD)双信号|多为单一奖励信号|
## 二、OpenClaw-RL 通用部署与训练指南
### 2.1 最简部署+训练命令(一键跑通核心流程)
基于 Linux/macOS 环境(Windows 需适配 WSL),需提前安装 Python 3.9+、Git、CUDA 11.8+(无 GPU 可替换为 CPU 版本):
```Bash
# 1. 克隆仓库+进入目录
git clone https://github.com/OpenClaw/OpenClaw-RL.git && cd OpenClaw-RL
# 2. 安装依赖(建议用虚拟环境)
python -m venv claw-venv && source claw-venv/bin/activate # Linux/macOS
# 若为Windows: claw-venv\Scripts\activate
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
# 3. 快速配置(使用默认示例配置,适配开源LLM如Llama-2)
cp configs/example_config.yaml configs/my_config.yaml
# 4. 启动全异步训练+服务(最简模式,本地Llama-2-7B为例)
python run_claw_rl.py \
--config configs/my_config.yaml \
--model-path ./models/llama-2-7b-chat \ # 替换为你的模型本地路径
--serve-port 8000 \ # 代理服务端口
--train-mode async \ # 全异步训练模式
--enable-opd true # 开启OPD文本导向学习
```
### 2.2 核心启动命令全参数解析
|参数|类型|必选/可选|默认值|说明|
|---|---|---|---|---|
|`--config`|路径|必选|-|配置文件路径(核心参数入口)|
|`--model-path`|路径|必选|-|本地模型路径(支持Hugging Face格式)|
|`--model-type`|字符串|可选|`auto`|模型类型(`llama`/`qwen`/`baichuan`/`auto`)|
|`--serve-port`|整数|可选|8000|OpenAI兼容API服务端口|
|`--train-mode`|字符串|可选|`async`|训练模式:`async`(边服务边训练)/`batch`(离线训练)|
|`--enable-grpo`|布尔|可选|`true`|开启GRPO二元强化学习|
|`--enable-opd`|布尔|可选|`true`|开启OPD在线策略蒸馏|
|`--reward-model`|路径/字符串|可选|`same`|奖励模型:`same`(复用主模型)/自定义路径|
|`--gpu-id`|整数/列表|可选|0|GPU编号(多卡用逗号分隔;CPU设为`-1`;M4设为`mps`)|
|`--save-interval`|整数|可选|100|模型权重保存间隔(训练步数)|
|`--log-dir`|路径|可选|`./logs`|日志/训练数据保存目录|
|`--privacy-mode`|布尔|可选|`true`|隐私模式(禁用数据上传)|
|`--hot-swap`|布尔|可选|`true`|开启权重热交换(无缝更新)|
### 2.3 典型场景适配命令
#### 场景1:低显存(8G/16G GPU)量化部署
```Bash
python run_claw_rl.py \
--config configs/my_config.yaml \
--model-path ./models/llama-2-7b-chat-GPTQ \
--model-type llama \
--serve-port 8000 \
--train-mode async \
--gpu-id 0 \
--load-in-4bit true # 4bit量化(也可--load-in-8bit true)
```
#### 场景2:纯CPU环境(测试/轻量使用)
```Bash
python run_claw_rl.py \
--config configs/my_config.yaml \
--model-path ./models/phi-2 # 小模型适配CPU
--serve-port 8000 \
--train-mode async \
--gpu-id -1 \ # 指定CPU
--enable-opd true
```
#### 场景3:批量离线训练(无服务,仅优化模型)
```Bash
python run_claw_rl.py \
--config configs/my_config.yaml \
--model-path ./models/llama-2-7b-chat \
--train-mode batch \
--data-path ./data/chat_history.jsonl # 离线交互数据
--epochs 5 \ # 训练轮数
--batch-size 4 \
--save-dir ./trained_models # 训练后模型保存路径
```
### 2.4 配置文件关键修改(my_config.yaml)
```YAML
# 模型基础配置
model:
max_length: 2048 # 最大上下文长度
temperature: 0.7 # 生成温度
top_p: 0.95
# 强化学习配置
rl:
learning_rate: 1e-5 # 学习率(小模型建议1e-4)
gamma: 0.99 # 奖励折扣因子
batch_size: 8 # 训练批次大小(显存不足调小)
update_steps: 10 # 每N步更新一次策略
# 服务配置
serve:
cors: true # 允许跨域(前端调用)
log_requests: true # 记录请求(用于训练)
```
### 2.5 验证部署成功
```Bash
# 测试API服务是否正常(curl命令)
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "llama-2-7b-chat",
"messages": [{"role": "user", "content": "你好,介绍下自己"}]
}'
```
返回JSON格式的回复即表示服务启动成功;同时日志目录(`./logs`)会生成交互轨迹文件,训练进程会自动采集并更新模型。
## 三、Mac mini M4 专属部署指南
### 3.1 兼容性说明
OpenClaw-RL 原生支持 Apple Silicon(M1/M2/M3/M4),macOS 12+ 即可运行;M4 的 MPS 加速可自动调用,是本地部署的理想机型。
|M4 内存|推荐模型|运行模式|体验|
|---|---|---|---|
|16GB|7B 量化(Qwen-7B、Llama-2-7B)|异步训练 + 本地推理|流畅,适合日常使用|
|24GB/32GB|7B–14B 模型|全功能异步 RL|多会话、多工具更从容|
### 3.2 Mac mini M4 一键部署脚本
创建文件 `deploy_claw_rl_m4.sh`,复制以下内容(含环境检查、依赖安装、模型下载、启动服务):
```Bash
#!/bin/bash
set -e # 出错即停止
# ====================== 环境检查 ======================
echo "====== 开始检查 Mac mini M4 环境 ======"
# 检查 macOS 版本
OS_VERSION=$(sw_vers -productVersion | cut -d '.' -f 1)
if [ $OS_VERSION -lt 12 ]; then
echo "错误:需要 macOS 12+,当前版本为 $(sw_vers -productVersion)"
exit 1
fi
# 检查 Rosetta 2
if ! /usr/bin/pgrep oahd >/dev/null 2>&1; then
echo "安装 Rosetta 2..."
softwareupdate --install-rosetta --agree-to-license
fi
# 检查 Homebrew
if ! command -v brew &> /dev/null; then
echo "安装 Homebrew..."
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
fi
# 检查 Python 3.10+
if ! command -v python3.11 &> /dev/null; then
echo "安装 Python 3.11..."
brew install python@3.11
fi
# ====================== 克隆仓库 & 创建虚拟环境 ======================
echo "====== 克隆仓库并创建虚拟环境 ======"
if [ ! -d "OpenClaw-RL" ]; then
git clone https://github.com/OpenClaw/OpenClaw-RL.git
fi
cd OpenClaw-RL
# 创建虚拟环境
if [ ! -d "claw-venv" ]; then
python3.11 -m venv claw-venv
fi
source claw-venv/bin/activate
# ====================== 安装依赖 ======================
echo "====== 安装依赖 ======"
# 安装 MPS 兼容的 PyTorch
pip install torch==2.2.0 torchvision==0.17.0 torchaudio==2.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
# 安装 OpenClaw-RL 依赖
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
# 安装量化依赖(适配 M4 低显存)
pip install auto-gptq transformers accelerate bitsandbytes -i https://pypi.tuna.tsinghua.edu.cn/simple
# ====================== 下载适配 M4 的模型(Qwen-2.5-7B 4bit) ======================
echo "====== 下载适配 M4 的模型 ======"
mkdir -p models
cd models
# 下载 Qwen-2.5-7B-Chat-Int4(适配 M4 16GB)
if [ ! -d "qwen-2.5-7b-chat-int4" ]; then
git lfs install
git clone https://www.modelscope.cn/Qwen/Qwen-2.5-7B-Chat-Int4.git qwen-2.5-7b-chat-int4
fi
cd ..
# ====================== 配置文件修改 ======================
echo "====== 配置 M4 专属配置文件 ======"
cp configs/example_config.yaml configs/m4_config.yaml
# 修改配置文件(适配 MPS 加速、低显存)
sed -i '' 's/device: cpu/device: mps/g' configs/m4_config.yaml
sed -i '' 's/batch_size: 8/batch_size: 4/g' configs/m4_config.yaml
sed -i '' 's/max_length: 1024/max_length: 2048/g' configs/m4_config.yaml
# ====================== 启动服务 ======================
echo "====== 启动 OpenClaw-RL(M4 专属模式) ======"
python run_claw_rl.py \
--config configs/m4_config.yaml \
--model-path ./models/qwen-2.5-7b-chat-int4 \
--model-type qwen \
--serve-port 8000 \
--train-mode async \
--gpu-id mps \
--enable-opd true \
--load-in-4bit true \
--privacy-mode true \
--hot-swap true
echo "====== 启动完成!可访问 http://localhost:8000 测试 ======"
echo "提示:若需停止服务,按 Ctrl+C 即可"
```
### 3.3 脚本使用方法
1. 打开 Mac 终端,执行以下命令赋予脚本执行权限:
```Bash
chmod +x deploy_claw_rl_m4.sh
```
2. 运行脚本:
```Bash
./deploy_claw_rl_m4.sh
```
3. 脚本完成后,自动启动 OpenClaw-RL 服务,可通过 curl 验证:
```Bash
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen-2.5-7b-chat-int4",
"messages": [{"role": "user", "content": "你好,我是 Mac mini M4 用户"}]
}'
```
### 3.4 M4 运行常见问题与优化
1. **内存不足(OOM)**:优先用 4bit 量化模型,降低 `batch_size` 至 4/2,关闭后台应用。
2. **MPS 不生效**:确保 PyTorch ≥ 2.1.0,启动参数设 `--gpu-id mps`,配置文件设 `device: mps`;临时改用 `--gpu-id -1`(CPU 模式)排查。
3. **训练速度**:M4 异步训练速度略低于高端 NVIDIA GPU,但完全可用,优先用 7B 模型。
## 四、总结
1. OpenClaw-RL 是全异步强化学习框架,核心实现“对话即训练、使用即优化”,隐私优先且本地部署友好。
2. 通用部署需克隆仓库、配置环境、启动异步训练,核心参数为 `--config`、`--model-path`、`--train-mode async`。
3. Mac mini M4 可通过专属一键脚本快速部署,16GB 内存适配 7B 量化模型,24GB+ 可运行 14B 模型,MPS 加速提升运行效率。
4. 验证部署成功的核心方式是调用 OpenAI 兼容 API,返回 JSON 回复即表示服务正常。
> (注:文档部分内容可能由 AI 生成)