时地方
This commit is contained in:
@@ -0,0 +1,338 @@
|
||||
# OpenClaw-RL 全量使用指南(含 Mac mini M4 一键部署)
|
||||
|
||||
# OpenClaw-RL 全量使用指南(含 Mac mini M4 一键部署)
|
||||
|
||||
## 一、OpenClaw-RL 核心介绍
|
||||
|
||||
OpenClaw-RL 是面向大模型智能体的**全异步强化学习框架**,核心作用是让 AI 代理在**真实对话/交互中边服务、边自动学习、持续进化**,实现“对话即训练、使用即优化”的闭环。
|
||||
|
||||
### 1.1 核心定位与解决的痛点
|
||||
|
||||
- **定位**:为 OpenClaw(“小龙虾”)等自托管 AI 代理提供**在线、异步、隐私优先**的强化学习能力,让静态模型变成可自我迭代的自适应智能体。
|
||||
|
||||
- **解决痛点**:
|
||||
|
||||
- 传统 RL 需中断服务、批量训练,无法边用边学。
|
||||
|
||||
- 标注成本高、数据隐私风险大。
|
||||
|
||||
- 预训练模型“通才”难适配个人/场景化“专才”需求。
|
||||
|
||||
### 1.2 核心工作机制:全异步四组件架构
|
||||
|
||||
四大模块完全解耦、并行运行,互不阻塞,实现“服务 + 训练”无感并行:
|
||||
|
||||
1. **Agent Serving(代理服务)**:包装自托管模型为 OpenAI 兼容 API,正常响应用户对话/工具调用,不中断、不等待训练。
|
||||
|
||||
2. **Rollout Collection(轨迹采集)**:实时截取多轮对话/交互轨迹,自动区分可训练主线与非训练支线,以用户下一轮回复、工具输出等作为天然“下一状态”信号。
|
||||
|
||||
3. **PRM Judging(过程奖励模型打分)**:异步对每一步动作打分,生成奖励信号(如用户满意/纠正、任务完成度),支持多数投票提升鲁棒性。
|
||||
|
||||
4. **Policy Training(策略训练)**:用采集的轨迹与奖励实时更新模型权重,完成后热交换权重,模型继续服务全程无感知。
|
||||
|
||||
### 1.3 核心能力与技术亮点
|
||||
|
||||
- **双学习范式并行**:GRPO(二元强化学习)+ OPD(在线策略蒸馏),从奖励信号+文本导向双维度优化。
|
||||
|
||||
- **零标注、全自动训练**:自动从真实交互中提取训练信号,降低门槛。
|
||||
|
||||
- **隐私优先、本地部署**:模型、数据、训练全在本地,零外部 API 调用、数据不外流。
|
||||
|
||||
- **无缝集成与工程化**:兼容 OpenAI API,支持多 GPU 集群,适合生产环境。
|
||||
|
||||
### 1.4 典型应用场景
|
||||
|
||||
- 个人 AI 助理:学习用户偏好,越用越懂。
|
||||
|
||||
- 企业智能客服:从真实对话自动优化话术。
|
||||
|
||||
- 办公/开发自动化:迭代工具调用策略,提升成功率。
|
||||
|
||||
- 机器人/自主 Agent:从环境交互中持续进化行为策略。
|
||||
|
||||
### 1.5 与传统 RL 方案的关键区别
|
||||
|
||||
|特性|OpenClaw-RL|传统 LLM-RL 方案|
|
||||
|---|---|---|
|
||||
|训练模式|全异步、在线、边服务边训练|集中式、批量、离线训练|
|
||||
|数据来源|真实实时交互,零标注|预收集数据集,需大量标注|
|
||||
|服务可用性|全程不中断、热更新权重|训练时服务暂停/降级|
|
||||
|隐私性|本地优先、数据不外流|常依赖云端 API/数据上传|
|
||||
|学习信号|奖励 + 文本导向(OPD)双信号|多为单一奖励信号|
|
||||
## 二、OpenClaw-RL 通用部署与训练指南
|
||||
|
||||
### 2.1 最简部署+训练命令(一键跑通核心流程)
|
||||
|
||||
基于 Linux/macOS 环境(Windows 需适配 WSL),需提前安装 Python 3.9+、Git、CUDA 11.8+(无 GPU 可替换为 CPU 版本):
|
||||
|
||||
```Bash
|
||||
|
||||
# 1. 克隆仓库+进入目录
|
||||
git clone https://github.com/OpenClaw/OpenClaw-RL.git && cd OpenClaw-RL
|
||||
|
||||
# 2. 安装依赖(建议用虚拟环境)
|
||||
python -m venv claw-venv && source claw-venv/bin/activate # Linux/macOS
|
||||
# 若为Windows: claw-venv\Scripts\activate
|
||||
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
|
||||
|
||||
# 3. 快速配置(使用默认示例配置,适配开源LLM如Llama-2)
|
||||
cp configs/example_config.yaml configs/my_config.yaml
|
||||
|
||||
# 4. 启动全异步训练+服务(最简模式,本地Llama-2-7B为例)
|
||||
python run_claw_rl.py \
|
||||
--config configs/my_config.yaml \
|
||||
--model-path ./models/llama-2-7b-chat \ # 替换为你的模型本地路径
|
||||
--serve-port 8000 \ # 代理服务端口
|
||||
--train-mode async \ # 全异步训练模式
|
||||
--enable-opd true # 开启OPD文本导向学习
|
||||
```
|
||||
|
||||
### 2.2 核心启动命令全参数解析
|
||||
|
||||
|参数|类型|必选/可选|默认值|说明|
|
||||
|---|---|---|---|---|
|
||||
|`--config`|路径|必选|-|配置文件路径(核心参数入口)|
|
||||
|`--model-path`|路径|必选|-|本地模型路径(支持Hugging Face格式)|
|
||||
|`--model-type`|字符串|可选|`auto`|模型类型(`llama`/`qwen`/`baichuan`/`auto`)|
|
||||
|`--serve-port`|整数|可选|8000|OpenAI兼容API服务端口|
|
||||
|`--train-mode`|字符串|可选|`async`|训练模式:`async`(边服务边训练)/`batch`(离线训练)|
|
||||
|`--enable-grpo`|布尔|可选|`true`|开启GRPO二元强化学习|
|
||||
|`--enable-opd`|布尔|可选|`true`|开启OPD在线策略蒸馏|
|
||||
|`--reward-model`|路径/字符串|可选|`same`|奖励模型:`same`(复用主模型)/自定义路径|
|
||||
|`--gpu-id`|整数/列表|可选|0|GPU编号(多卡用逗号分隔;CPU设为`-1`;M4设为`mps`)|
|
||||
|`--save-interval`|整数|可选|100|模型权重保存间隔(训练步数)|
|
||||
|`--log-dir`|路径|可选|`./logs`|日志/训练数据保存目录|
|
||||
|`--privacy-mode`|布尔|可选|`true`|隐私模式(禁用数据上传)|
|
||||
|`--hot-swap`|布尔|可选|`true`|开启权重热交换(无缝更新)|
|
||||
### 2.3 典型场景适配命令
|
||||
|
||||
#### 场景1:低显存(8G/16G GPU)量化部署
|
||||
|
||||
```Bash
|
||||
|
||||
python run_claw_rl.py \
|
||||
--config configs/my_config.yaml \
|
||||
--model-path ./models/llama-2-7b-chat-GPTQ \
|
||||
--model-type llama \
|
||||
--serve-port 8000 \
|
||||
--train-mode async \
|
||||
--gpu-id 0 \
|
||||
--load-in-4bit true # 4bit量化(也可--load-in-8bit true)
|
||||
```
|
||||
|
||||
#### 场景2:纯CPU环境(测试/轻量使用)
|
||||
|
||||
```Bash
|
||||
|
||||
python run_claw_rl.py \
|
||||
--config configs/my_config.yaml \
|
||||
--model-path ./models/phi-2 # 小模型适配CPU
|
||||
--serve-port 8000 \
|
||||
--train-mode async \
|
||||
--gpu-id -1 \ # 指定CPU
|
||||
--enable-opd true
|
||||
```
|
||||
|
||||
#### 场景3:批量离线训练(无服务,仅优化模型)
|
||||
|
||||
```Bash
|
||||
|
||||
python run_claw_rl.py \
|
||||
--config configs/my_config.yaml \
|
||||
--model-path ./models/llama-2-7b-chat \
|
||||
--train-mode batch \
|
||||
--data-path ./data/chat_history.jsonl # 离线交互数据
|
||||
--epochs 5 \ # 训练轮数
|
||||
--batch-size 4 \
|
||||
--save-dir ./trained_models # 训练后模型保存路径
|
||||
```
|
||||
|
||||
### 2.4 配置文件关键修改(my_config.yaml)
|
||||
|
||||
```YAML
|
||||
|
||||
# 模型基础配置
|
||||
model:
|
||||
max_length: 2048 # 最大上下文长度
|
||||
temperature: 0.7 # 生成温度
|
||||
top_p: 0.95
|
||||
|
||||
# 强化学习配置
|
||||
rl:
|
||||
learning_rate: 1e-5 # 学习率(小模型建议1e-4)
|
||||
gamma: 0.99 # 奖励折扣因子
|
||||
batch_size: 8 # 训练批次大小(显存不足调小)
|
||||
update_steps: 10 # 每N步更新一次策略
|
||||
|
||||
# 服务配置
|
||||
serve:
|
||||
cors: true # 允许跨域(前端调用)
|
||||
log_requests: true # 记录请求(用于训练)
|
||||
```
|
||||
|
||||
### 2.5 验证部署成功
|
||||
|
||||
```Bash
|
||||
|
||||
# 测试API服务是否正常(curl命令)
|
||||
curl http://localhost:8000/v1/chat/completions \
|
||||
-H "Content-Type: application/json" \
|
||||
-d '{
|
||||
"model": "llama-2-7b-chat",
|
||||
"messages": [{"role": "user", "content": "你好,介绍下自己"}]
|
||||
}'
|
||||
```
|
||||
|
||||
返回JSON格式的回复即表示服务启动成功;同时日志目录(`./logs`)会生成交互轨迹文件,训练进程会自动采集并更新模型。
|
||||
|
||||
## 三、Mac mini M4 专属部署指南
|
||||
|
||||
### 3.1 兼容性说明
|
||||
|
||||
OpenClaw-RL 原生支持 Apple Silicon(M1/M2/M3/M4),macOS 12+ 即可运行;M4 的 MPS 加速可自动调用,是本地部署的理想机型。
|
||||
|
||||
|M4 内存|推荐模型|运行模式|体验|
|
||||
|---|---|---|---|
|
||||
|16GB|7B 量化(Qwen-7B、Llama-2-7B)|异步训练 + 本地推理|流畅,适合日常使用|
|
||||
|24GB/32GB|7B–14B 模型|全功能异步 RL|多会话、多工具更从容|
|
||||
### 3.2 Mac mini M4 一键部署脚本
|
||||
|
||||
创建文件 `deploy_claw_rl_m4.sh`,复制以下内容(含环境检查、依赖安装、模型下载、启动服务):
|
||||
|
||||
```Bash
|
||||
|
||||
#!/bin/bash
|
||||
set -e # 出错即停止
|
||||
|
||||
# ====================== 环境检查 ======================
|
||||
echo "====== 开始检查 Mac mini M4 环境 ======"
|
||||
# 检查 macOS 版本
|
||||
OS_VERSION=$(sw_vers -productVersion | cut -d '.' -f 1)
|
||||
if [ $OS_VERSION -lt 12 ]; then
|
||||
echo "错误:需要 macOS 12+,当前版本为 $(sw_vers -productVersion)"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
# 检查 Rosetta 2
|
||||
if ! /usr/bin/pgrep oahd >/dev/null 2>&1; then
|
||||
echo "安装 Rosetta 2..."
|
||||
softwareupdate --install-rosetta --agree-to-license
|
||||
fi
|
||||
|
||||
# 检查 Homebrew
|
||||
if ! command -v brew &> /dev/null; then
|
||||
echo "安装 Homebrew..."
|
||||
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
|
||||
fi
|
||||
|
||||
# 检查 Python 3.10+
|
||||
if ! command -v python3.11 &> /dev/null; then
|
||||
echo "安装 Python 3.11..."
|
||||
brew install python@3.11
|
||||
fi
|
||||
|
||||
# ====================== 克隆仓库 & 创建虚拟环境 ======================
|
||||
echo "====== 克隆仓库并创建虚拟环境 ======"
|
||||
if [ ! -d "OpenClaw-RL" ]; then
|
||||
git clone https://github.com/OpenClaw/OpenClaw-RL.git
|
||||
fi
|
||||
cd OpenClaw-RL
|
||||
|
||||
# 创建虚拟环境
|
||||
if [ ! -d "claw-venv" ]; then
|
||||
python3.11 -m venv claw-venv
|
||||
fi
|
||||
source claw-venv/bin/activate
|
||||
|
||||
# ====================== 安装依赖 ======================
|
||||
echo "====== 安装依赖 ======"
|
||||
# 安装 MPS 兼容的 PyTorch
|
||||
pip install torch==2.2.0 torchvision==0.17.0 torchaudio==2.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
|
||||
# 安装 OpenClaw-RL 依赖
|
||||
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
|
||||
# 安装量化依赖(适配 M4 低显存)
|
||||
pip install auto-gptq transformers accelerate bitsandbytes -i https://pypi.tuna.tsinghua.edu.cn/simple
|
||||
|
||||
# ====================== 下载适配 M4 的模型(Qwen-2.5-7B 4bit) ======================
|
||||
echo "====== 下载适配 M4 的模型 ======"
|
||||
mkdir -p models
|
||||
cd models
|
||||
# 下载 Qwen-2.5-7B-Chat-Int4(适配 M4 16GB)
|
||||
if [ ! -d "qwen-2.5-7b-chat-int4" ]; then
|
||||
git lfs install
|
||||
git clone https://www.modelscope.cn/Qwen/Qwen-2.5-7B-Chat-Int4.git qwen-2.5-7b-chat-int4
|
||||
fi
|
||||
cd ..
|
||||
|
||||
# ====================== 配置文件修改 ======================
|
||||
echo "====== 配置 M4 专属配置文件 ======"
|
||||
cp configs/example_config.yaml configs/m4_config.yaml
|
||||
# 修改配置文件(适配 MPS 加速、低显存)
|
||||
sed -i '' 's/device: cpu/device: mps/g' configs/m4_config.yaml
|
||||
sed -i '' 's/batch_size: 8/batch_size: 4/g' configs/m4_config.yaml
|
||||
sed -i '' 's/max_length: 1024/max_length: 2048/g' configs/m4_config.yaml
|
||||
|
||||
# ====================== 启动服务 ======================
|
||||
echo "====== 启动 OpenClaw-RL(M4 专属模式) ======"
|
||||
python run_claw_rl.py \
|
||||
--config configs/m4_config.yaml \
|
||||
--model-path ./models/qwen-2.5-7b-chat-int4 \
|
||||
--model-type qwen \
|
||||
--serve-port 8000 \
|
||||
--train-mode async \
|
||||
--gpu-id mps \
|
||||
--enable-opd true \
|
||||
--load-in-4bit true \
|
||||
--privacy-mode true \
|
||||
--hot-swap true
|
||||
|
||||
echo "====== 启动完成!可访问 http://localhost:8000 测试 ======"
|
||||
echo "提示:若需停止服务,按 Ctrl+C 即可"
|
||||
```
|
||||
|
||||
### 3.3 脚本使用方法
|
||||
|
||||
1. 打开 Mac 终端,执行以下命令赋予脚本执行权限:
|
||||
|
||||
```Bash
|
||||
|
||||
chmod +x deploy_claw_rl_m4.sh
|
||||
```
|
||||
|
||||
2. 运行脚本:
|
||||
|
||||
```Bash
|
||||
|
||||
./deploy_claw_rl_m4.sh
|
||||
```
|
||||
|
||||
3. 脚本完成后,自动启动 OpenClaw-RL 服务,可通过 curl 验证:
|
||||
|
||||
```Bash
|
||||
|
||||
curl http://localhost:8000/v1/chat/completions \
|
||||
-H "Content-Type: application/json" \
|
||||
-d '{
|
||||
"model": "qwen-2.5-7b-chat-int4",
|
||||
"messages": [{"role": "user", "content": "你好,我是 Mac mini M4 用户"}]
|
||||
}'
|
||||
```
|
||||
|
||||
### 3.4 M4 运行常见问题与优化
|
||||
|
||||
1. **内存不足(OOM)**:优先用 4bit 量化模型,降低 `batch_size` 至 4/2,关闭后台应用。
|
||||
|
||||
2. **MPS 不生效**:确保 PyTorch ≥ 2.1.0,启动参数设 `--gpu-id mps`,配置文件设 `device: mps`;临时改用 `--gpu-id -1`(CPU 模式)排查。
|
||||
|
||||
3. **训练速度**:M4 异步训练速度略低于高端 NVIDIA GPU,但完全可用,优先用 7B 模型。
|
||||
|
||||
## 四、总结
|
||||
|
||||
1. OpenClaw-RL 是全异步强化学习框架,核心实现“对话即训练、使用即优化”,隐私优先且本地部署友好。
|
||||
|
||||
2. 通用部署需克隆仓库、配置环境、启动异步训练,核心参数为 `--config`、`--model-path`、`--train-mode async`。
|
||||
|
||||
3. Mac mini M4 可通过专属一键脚本快速部署,16GB 内存适配 7B 量化模型,24GB+ 可运行 14B 模型,MPS 加速提升运行效率。
|
||||
|
||||
4. 验证部署成功的核心方式是调用 OpenAI 兼容 API,返回 JSON 回复即表示服务正常。
|
||||
> (注:文档部分内容可能由 AI 生成)
|
||||
Reference in New Issue
Block a user