# OpenClaw-RL 全量使用指南(含 Mac mini M4 一键部署) # OpenClaw-RL 全量使用指南(含 Mac mini M4 一键部署) ## 一、OpenClaw-RL 核心介绍 OpenClaw-RL 是面向大模型智能体的**全异步强化学习框架**,核心作用是让 AI 代理在**真实对话/交互中边服务、边自动学习、持续进化**,实现“对话即训练、使用即优化”的闭环。 ### 1.1 核心定位与解决的痛点 - **定位**:为 OpenClaw(“小龙虾”)等自托管 AI 代理提供**在线、异步、隐私优先**的强化学习能力,让静态模型变成可自我迭代的自适应智能体。 - **解决痛点**: - 传统 RL 需中断服务、批量训练,无法边用边学。 - 标注成本高、数据隐私风险大。 - 预训练模型“通才”难适配个人/场景化“专才”需求。 ### 1.2 核心工作机制:全异步四组件架构 四大模块完全解耦、并行运行,互不阻塞,实现“服务 + 训练”无感并行: 1. **Agent Serving(代理服务)**:包装自托管模型为 OpenAI 兼容 API,正常响应用户对话/工具调用,不中断、不等待训练。 2. **Rollout Collection(轨迹采集)**:实时截取多轮对话/交互轨迹,自动区分可训练主线与非训练支线,以用户下一轮回复、工具输出等作为天然“下一状态”信号。 3. **PRM Judging(过程奖励模型打分)**:异步对每一步动作打分,生成奖励信号(如用户满意/纠正、任务完成度),支持多数投票提升鲁棒性。 4. **Policy Training(策略训练)**:用采集的轨迹与奖励实时更新模型权重,完成后热交换权重,模型继续服务全程无感知。 ### 1.3 核心能力与技术亮点 - **双学习范式并行**:GRPO(二元强化学习)+ OPD(在线策略蒸馏),从奖励信号+文本导向双维度优化。 - **零标注、全自动训练**:自动从真实交互中提取训练信号,降低门槛。 - **隐私优先、本地部署**:模型、数据、训练全在本地,零外部 API 调用、数据不外流。 - **无缝集成与工程化**:兼容 OpenAI API,支持多 GPU 集群,适合生产环境。 ### 1.4 典型应用场景 - 个人 AI 助理:学习用户偏好,越用越懂。 - 企业智能客服:从真实对话自动优化话术。 - 办公/开发自动化:迭代工具调用策略,提升成功率。 - 机器人/自主 Agent:从环境交互中持续进化行为策略。 ### 1.5 与传统 RL 方案的关键区别 |特性|OpenClaw-RL|传统 LLM-RL 方案| |---|---|---| |训练模式|全异步、在线、边服务边训练|集中式、批量、离线训练| |数据来源|真实实时交互,零标注|预收集数据集,需大量标注| |服务可用性|全程不中断、热更新权重|训练时服务暂停/降级| |隐私性|本地优先、数据不外流|常依赖云端 API/数据上传| |学习信号|奖励 + 文本导向(OPD)双信号|多为单一奖励信号| ## 二、OpenClaw-RL 通用部署与训练指南 ### 2.1 最简部署+训练命令(一键跑通核心流程) 基于 Linux/macOS 环境(Windows 需适配 WSL),需提前安装 Python 3.9+、Git、CUDA 11.8+(无 GPU 可替换为 CPU 版本): ```Bash # 1. 克隆仓库+进入目录 git clone https://github.com/OpenClaw/OpenClaw-RL.git && cd OpenClaw-RL # 2. 安装依赖(建议用虚拟环境) python -m venv claw-venv && source claw-venv/bin/activate # Linux/macOS # 若为Windows: claw-venv\Scripts\activate pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple # 3. 快速配置(使用默认示例配置,适配开源LLM如Llama-2) cp configs/example_config.yaml configs/my_config.yaml # 4. 启动全异步训练+服务(最简模式,本地Llama-2-7B为例) python run_claw_rl.py \ --config configs/my_config.yaml \ --model-path ./models/llama-2-7b-chat \ # 替换为你的模型本地路径 --serve-port 8000 \ # 代理服务端口 --train-mode async \ # 全异步训练模式 --enable-opd true # 开启OPD文本导向学习 ``` ### 2.2 核心启动命令全参数解析 |参数|类型|必选/可选|默认值|说明| |---|---|---|---|---| |`--config`|路径|必选|-|配置文件路径(核心参数入口)| |`--model-path`|路径|必选|-|本地模型路径(支持Hugging Face格式)| |`--model-type`|字符串|可选|`auto`|模型类型(`llama`/`qwen`/`baichuan`/`auto`)| |`--serve-port`|整数|可选|8000|OpenAI兼容API服务端口| |`--train-mode`|字符串|可选|`async`|训练模式:`async`(边服务边训练)/`batch`(离线训练)| |`--enable-grpo`|布尔|可选|`true`|开启GRPO二元强化学习| |`--enable-opd`|布尔|可选|`true`|开启OPD在线策略蒸馏| |`--reward-model`|路径/字符串|可选|`same`|奖励模型:`same`(复用主模型)/自定义路径| |`--gpu-id`|整数/列表|可选|0|GPU编号(多卡用逗号分隔;CPU设为`-1`;M4设为`mps`)| |`--save-interval`|整数|可选|100|模型权重保存间隔(训练步数)| |`--log-dir`|路径|可选|`./logs`|日志/训练数据保存目录| |`--privacy-mode`|布尔|可选|`true`|隐私模式(禁用数据上传)| |`--hot-swap`|布尔|可选|`true`|开启权重热交换(无缝更新)| ### 2.3 典型场景适配命令 #### 场景1:低显存(8G/16G GPU)量化部署 ```Bash python run_claw_rl.py \ --config configs/my_config.yaml \ --model-path ./models/llama-2-7b-chat-GPTQ \ --model-type llama \ --serve-port 8000 \ --train-mode async \ --gpu-id 0 \ --load-in-4bit true # 4bit量化(也可--load-in-8bit true) ``` #### 场景2:纯CPU环境(测试/轻量使用) ```Bash python run_claw_rl.py \ --config configs/my_config.yaml \ --model-path ./models/phi-2 # 小模型适配CPU --serve-port 8000 \ --train-mode async \ --gpu-id -1 \ # 指定CPU --enable-opd true ``` #### 场景3:批量离线训练(无服务,仅优化模型) ```Bash python run_claw_rl.py \ --config configs/my_config.yaml \ --model-path ./models/llama-2-7b-chat \ --train-mode batch \ --data-path ./data/chat_history.jsonl # 离线交互数据 --epochs 5 \ # 训练轮数 --batch-size 4 \ --save-dir ./trained_models # 训练后模型保存路径 ``` ### 2.4 配置文件关键修改(my_config.yaml) ```YAML # 模型基础配置 model: max_length: 2048 # 最大上下文长度 temperature: 0.7 # 生成温度 top_p: 0.95 # 强化学习配置 rl: learning_rate: 1e-5 # 学习率(小模型建议1e-4) gamma: 0.99 # 奖励折扣因子 batch_size: 8 # 训练批次大小(显存不足调小) update_steps: 10 # 每N步更新一次策略 # 服务配置 serve: cors: true # 允许跨域(前端调用) log_requests: true # 记录请求(用于训练) ``` ### 2.5 验证部署成功 ```Bash # 测试API服务是否正常(curl命令) curl http://localhost:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "llama-2-7b-chat", "messages": [{"role": "user", "content": "你好,介绍下自己"}] }' ``` 返回JSON格式的回复即表示服务启动成功;同时日志目录(`./logs`)会生成交互轨迹文件,训练进程会自动采集并更新模型。 ## 三、Mac mini M4 专属部署指南 ### 3.1 兼容性说明 OpenClaw-RL 原生支持 Apple Silicon(M1/M2/M3/M4),macOS 12+ 即可运行;M4 的 MPS 加速可自动调用,是本地部署的理想机型。 |M4 内存|推荐模型|运行模式|体验| |---|---|---|---| |16GB|7B 量化(Qwen-7B、Llama-2-7B)|异步训练 + 本地推理|流畅,适合日常使用| |24GB/32GB|7B–14B 模型|全功能异步 RL|多会话、多工具更从容| ### 3.2 Mac mini M4 一键部署脚本 创建文件 `deploy_claw_rl_m4.sh`,复制以下内容(含环境检查、依赖安装、模型下载、启动服务): ```Bash #!/bin/bash set -e # 出错即停止 # ====================== 环境检查 ====================== echo "====== 开始检查 Mac mini M4 环境 ======" # 检查 macOS 版本 OS_VERSION=$(sw_vers -productVersion | cut -d '.' -f 1) if [ $OS_VERSION -lt 12 ]; then echo "错误:需要 macOS 12+,当前版本为 $(sw_vers -productVersion)" exit 1 fi # 检查 Rosetta 2 if ! /usr/bin/pgrep oahd >/dev/null 2>&1; then echo "安装 Rosetta 2..." softwareupdate --install-rosetta --agree-to-license fi # 检查 Homebrew if ! command -v brew &> /dev/null; then echo "安装 Homebrew..." /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" fi # 检查 Python 3.10+ if ! command -v python3.11 &> /dev/null; then echo "安装 Python 3.11..." brew install python@3.11 fi # ====================== 克隆仓库 & 创建虚拟环境 ====================== echo "====== 克隆仓库并创建虚拟环境 ======" if [ ! -d "OpenClaw-RL" ]; then git clone https://github.com/OpenClaw/OpenClaw-RL.git fi cd OpenClaw-RL # 创建虚拟环境 if [ ! -d "claw-venv" ]; then python3.11 -m venv claw-venv fi source claw-venv/bin/activate # ====================== 安装依赖 ====================== echo "====== 安装依赖 ======" # 安装 MPS 兼容的 PyTorch pip install torch==2.2.0 torchvision==0.17.0 torchaudio==2.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple # 安装 OpenClaw-RL 依赖 pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple # 安装量化依赖(适配 M4 低显存) pip install auto-gptq transformers accelerate bitsandbytes -i https://pypi.tuna.tsinghua.edu.cn/simple # ====================== 下载适配 M4 的模型(Qwen-2.5-7B 4bit) ====================== echo "====== 下载适配 M4 的模型 ======" mkdir -p models cd models # 下载 Qwen-2.5-7B-Chat-Int4(适配 M4 16GB) if [ ! -d "qwen-2.5-7b-chat-int4" ]; then git lfs install git clone https://www.modelscope.cn/Qwen/Qwen-2.5-7B-Chat-Int4.git qwen-2.5-7b-chat-int4 fi cd .. # ====================== 配置文件修改 ====================== echo "====== 配置 M4 专属配置文件 ======" cp configs/example_config.yaml configs/m4_config.yaml # 修改配置文件(适配 MPS 加速、低显存) sed -i '' 's/device: cpu/device: mps/g' configs/m4_config.yaml sed -i '' 's/batch_size: 8/batch_size: 4/g' configs/m4_config.yaml sed -i '' 's/max_length: 1024/max_length: 2048/g' configs/m4_config.yaml # ====================== 启动服务 ====================== echo "====== 启动 OpenClaw-RL(M4 专属模式) ======" python run_claw_rl.py \ --config configs/m4_config.yaml \ --model-path ./models/qwen-2.5-7b-chat-int4 \ --model-type qwen \ --serve-port 8000 \ --train-mode async \ --gpu-id mps \ --enable-opd true \ --load-in-4bit true \ --privacy-mode true \ --hot-swap true echo "====== 启动完成!可访问 http://localhost:8000 测试 ======" echo "提示:若需停止服务,按 Ctrl+C 即可" ``` ### 3.3 脚本使用方法 1. 打开 Mac 终端,执行以下命令赋予脚本执行权限: ```Bash chmod +x deploy_claw_rl_m4.sh ``` 2. 运行脚本: ```Bash ./deploy_claw_rl_m4.sh ``` 3. 脚本完成后,自动启动 OpenClaw-RL 服务,可通过 curl 验证: ```Bash curl http://localhost:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "qwen-2.5-7b-chat-int4", "messages": [{"role": "user", "content": "你好,我是 Mac mini M4 用户"}] }' ``` ### 3.4 M4 运行常见问题与优化 1. **内存不足(OOM)**:优先用 4bit 量化模型,降低 `batch_size` 至 4/2,关闭后台应用。 2. **MPS 不生效**:确保 PyTorch ≥ 2.1.0,启动参数设 `--gpu-id mps`,配置文件设 `device: mps`;临时改用 `--gpu-id -1`(CPU 模式)排查。 3. **训练速度**:M4 异步训练速度略低于高端 NVIDIA GPU,但完全可用,优先用 7B 模型。 ## 四、总结 1. OpenClaw-RL 是全异步强化学习框架,核心实现“对话即训练、使用即优化”,隐私优先且本地部署友好。 2. 通用部署需克隆仓库、配置环境、启动异步训练,核心参数为 `--config`、`--model-path`、`--train-mode async`。 3. Mac mini M4 可通过专属一键脚本快速部署,16GB 内存适配 7B 量化模型,24GB+ 可运行 14B 模型,MPS 加速提升运行效率。 4. 验证部署成功的核心方式是调用 OpenAI 兼容 API,返回 JSON 回复即表示服务正常。 > (注:文档部分内容可能由 AI 生成)