时地方

This commit is contained in:
coco
2026-07-21 14:53:24 +08:00
parent 8b94d76799
commit 1b8027e61c
308 changed files with 61360 additions and 10 deletions
@@ -0,0 +1,79 @@
# 快速开始
欢迎使用 nanobot。本指南将带你在几分钟内从安装到第一次真正的工作会话。读完后,你将知道如何启动 nanobot 并在真实场景中开始使用它。
## 开始之前
开始之前,请确保准备好两样东西:
- 一个可以打开并工作的终端
- Python 环境,建议 Python 3.11 或更高版本
这就够了,可以开始安装 nanobot 并启动你的第一个 Agent。
## 安装 nanobot
有三种方式安装 nanobot,选择适合你的方式即可。
!从源码安装通常跟踪 nanobot 的最新版本,因此可能包含尚未进入稳定发布渠道的更新功能和实验性特性。
pipuv源码
```
pip install nanobot-ai
```
## 启动 nanobot
安装完成后,下一步很简单:
```
nanobot onboard
```
如果你想使用交互式引导流程,也可以运行:
```
nanobot onboard --wizard
```
`nanobot onboard` 会为你生成完整的配置和工作区。配置文件会随着时间变大——没关系。首次运行只需要关注三件事:**使用哪个 Provider**、**你的 API Key** 和**你的时区**。
---
## 新建了一个 .nanobot实例以后,将skill链接过来:
ln -s /home/ubuntu/nanocode/skills ./skills
## 复制和配置config.json
---
# 开始教导
记住:我叫蔡贤明,我在深圳,我是研发工程师,你叫我蔡叔叔,你名字是志玲,你是我的代码编写助手
---
记住:~/nanocode 即 /home/ubuntu/nanocode,是开发项目总目录,我所有项目都存在这,你找我的代码,都到这里找(除了你自己做测试之类的工具和脚本之外,这些你可以放在你的工作目录workspace)
---
记住:/home/ubuntu/nanocode/website-new 目录是我们正在开发的项目,这个项目已经做成系统服务 (前端运行的web地址是http://129.211.173.87:10002/,http://129.211.173.87:10002/admin )。
---
记住:~/.config 是一些技能或工具需要用到的配置参数,大模型key,图片生成的大模型key等的存储目录,需要可以到这里找找
imagicMagic , playweight, uv, python, nodejs 这些工具系统里都安装了。
---
你仔细阅读当前项目代码,修改图片存储方案,所有图片以后只 直接存储在 /uploads 目录下(即backend/uploads目录),图片扁平存放。/uploads只有缩略图目录thumbnails ,/uploads下的每一图片,都应该在/uploads/thumbnails 下有一个缩略图。你需要检查代码和数据库。----你仔细看看我的要求,你理解好了,反馈需要修改哪些地方,再修改代码。
---
你仔细阅读当前项目代码,讲一下你的理解
---
File diff suppressed because it is too large Load Diff
+143
View File
@@ -0,0 +1,143 @@
---
**配置分析:**
| 配置项 | 当前值 | 问题 |
|--------|--------|------|
| `model` | `kimi-k2.6` | ✅ 支持 256k 上下文 |
| `contextWindowTokens` | `65536` | ❌ 但请求达到了 **111万 tokens** |
| `maxToolIterations` | `200` | ⚠️ 太高了,容易累积超长历史 |
| `idleCompactAfterMinutes` | `0` | ❌ 禁用自动压缩,历史只会增长 |
---
**根本原因:**
**历史消息积累了 111万 tokens**(约 84万字),远超 kimi-k2.6 的 256k 限制。
即使 `contextWindowTokens` 设为 65536,系统还是会把完整历史发出去(可能是 bug 或设计如此),导致爆表。
---
**解决方案:**
**方案 1:清理历史记录(立即生效)**
删除历史文件:
```bash
rm ~/.nanobot/workspace/memory/history.jsonl
```
**方案 2:开启自动压缩(推荐)**
修改 `idleCompactAfterMinutes` 为 10 或 30:
```json
"idleCompactAfterMinutes": 10
```
**方案 3:减小迭代次数**
`maxToolIterations` 200 次太高了,改成 40:
```json
"maxToolIterations": 40
```
**方案 4:临时换小上下文模型**
改用 `kimi-k2.5`(128k 上下文)或 `deepseek-chat`。
---
**不会每次都加载整个文件**,但你的情况比较特殊。
---
**history.jsonl 的工作机制:**
1. **文件是 append-only** — 只追加不删除,所以会越积越大
2. **正常情况下有压缩机制** — 超过 `contextWindowTokens` 会自动丢弃旧消息
3. **但你的配置关掉了自动压缩** — `idleCompactAfterMinutes: 0` 表示"从不压缩"
---
**为什么你会爆表?**
看错误信息:`requested: 1118406` tokens
这意味着**111万 token 被塞进了请求**,而 kimi-k2.6 只支持 256k。说明:
- 历史累积了太多轮对话
- 自动压缩没触发或失效了
- 加上 `maxToolIterations: 200`(太高,容易累积长链)
---
**解决方案:**
**方案 1:开启自动压缩(推荐)**
```json
"idleCompactAfterMinutes": 10
```
空闲 10 分钟后自动压缩历史,保留最近的对话。
**方案 2:定期手动清理**
```bash
# 备份后清空
mv ~/.nanobot/workspace/memory/history.jsonl ~/.nanobot/workspace/memory/history.jsonl.bak
touch ~/.nanobot/workspace/memory/history.jsonl
```
**方案 3:减小上下文窗口**
```json
"contextWindowTokens": 32768
```
强制只保留最近 32k tokens 的历史。
**方案 4:限制迭代次数**
```json
"maxToolIterations": 40
```
200 次迭代容易累积超长工具调用链,40 次足够用。
---
## 🐈 nanobot commands:
/new — Stop current task and start a new conversation
/stop — Stop the current task
/restart — Restart the bot
/status — Show bot status
/dream — Manually trigger Dream consolidation
/dream-log — Show what the last Dream changed
/dream-restore — Revert memory to a previous state
/help — Show available commands
以上命令可以在qq里面直接使用!
---
`/dream` 就是**手动触发"记忆整理"(Dream consolidation)**。
**会发生什么:**
1. 系统会立即分析当前 session 的对话历史
2. 从中提取重要信息(比如你的偏好、项目变更、新的长期事实)
3. 自动更新到以下三个文件:
- **MEMORY.md** — 长期记忆(项目目录、重要约定等)
- **USER.md** — 用户画像(称呼、职业、偏好等)
- **SOUL.md** — 助手人格和沟通风格
**平时它是自动跑的** — cron 里配了每 **2 小时**自动执行一次 Dream 整理。`/dream` 就是让你不用等,想立即归档当前对话里的重要信息时手动按一下。
还有个配套命令 `/dream-log`,可以查看 Dream 最近一次整理时具体做了什么改动。
简单说:**觉得刚刚聊了什么值得记住的,发 `/dream` 让它马上归档。**
+438
View File
@@ -0,0 +1,438 @@
## OpenCLI 学习总结
**OpenCLI** 是一个强大的 CLI 生成器和自动化工具,可以把任何网站变成命令行接口。
### 核心能力
| 功能 | 说明 |
|------|------|
| **内置适配器** | 87+ 网站开箱即用(小红书、知乎、B站、Twitter等)|
| **浏览器自动化** | `opencli browser` 直接控制浏览器点击、输入、截图 |
| **生成新适配器** | `explore → synthesize → generate` 从真实页面推导 CLI |
| **Electron 应用控制** | 驱动 Cursor、ChatGPT、Notion 等桌面应用 |
### 小红书适配器功能
```bash
opencli xiaohongshu publish --title "标题" "正文" --images a.jpg,b.jpg --topics 生活,旅行
opencli xiaohongshu feed # 首页推荐
opencli xiaohongshu note <id> # 获取笔记详情
opencli xiaohongshu download <id> # 下载图片视频
opencli xiaohongshu search <词> # 搜索笔记
opencli xiaohongshu creator-notes # 创作者笔记列表
opencli xiaohongshu creator-stats # 创作者数据统计
```
### 技术架构
```
src/
├── main.ts # 入口:快速路径 + 完整启动
├── cli.ts # CLI 注册和命令分发
├── browser/ # CDP 浏览器控制
│ ├── cdp.ts # Chrome DevTools Protocol
│ ├── page.ts # 页面操作封装
│ └── bridge.ts # 浏览器桥接
├── registry.ts # 命令注册表
├── commanderAdapter.ts # 动态命令适配
└── discovery.ts # CLI 发现机制
clis/ # 内置适配器(87+个)
├── xiaohongshu/ # 小红书适配器
├── zhihu/ # 知乎适配器
├── bilibili/ # B站适配器
└── ...
```
### 工作原理
1. **Cookie 模式**:复用浏览器登录态,直接调用 API
2. **Browser 模式**:通过 CDP 控制真实浏览器,模拟用户操作
3. **生成模式**:`explore` 分析网站 → `synthesize` 推导接口 → `generate` 生成适配器
### 使用示例
```bash
# 快速发布小红书
opencli xiaohongshu publish --title "禅诗一首" "人人有这个..." \
--images /path/to/img.jpg --topics 禅诗,诗词
# 浏览器自动化
opencli browser --url https://example.com --click "button" --screenshot
# 生成新网站适配器
opencli generate https://new-site.com
```
---
**已安装版本**: `1.7.3`
这个项目非常强大,特别是**浏览器自动化**和**CLI 生成**功能,可以把任何 Web 操作变成可复用的命令行工具!
---
## OpenCLI Headless 配置方案
OpenCLI 支持 **CDP (Chrome DevTools Protocol)** 模式,可以在无 GUI 服务器上运行。有三种方案:
### 方案一:本地 Chrome + SSH 隧道(推荐)
**在你的本地机器(Mac/PC)上:**
```bash
# 启动 Chrome 并开启远程调试
google-chrome \
--remote-debugging-port=9222 \
--user-data-dir="$HOME/chrome-debug-profile" \
--remote-allow-origins="*"
# 登录小红书/知乎等网站
```
**在服务器上建立反向 SSH 隧道:**
```bash
# 从服务器连接到本地机器,转发端口
ssh -R 9222:localhost:9222 your-local-machine
# 设置环境变量
export OPENCLI_CDP_ENDPOINT="http://localhost:9222"
# 验证连接
opencli doctor
# 使用
opencli xiaohongshu feed
```
---
### 方案二:服务器直接运行 Headless Chrome(CI/CD 模式)
```bash
# 安装 Chrome 和 xvfb
sudo apt-get install -y google-chrome-stable xvfb
# 使用 xvfb-run 运行 Chrome(虚拟显示)
xvfb-run --auto-servernum \
google-chrome \
--remote-debugging-port=9222 \
--no-sandbox \
--disable-dev-shm-usage \
--disable-gpu \
--headless=new &
# 设置环境变量
export OPENCLI_CDP_ENDPOINT="http://127.0.0.1:9222"
# 运行
opencli xiaohongshu publish --title "测试" "内容" --images a.jpg
```
---
### 方案三:Docker 运行 Chrome
```bash
# 运行 headless Chrome 容器
docker run -d \
--name chrome-headless \
-p 9222:9222 \
--cap-add=SYS_ADMIN \
chromedp/headless-shell:latest \
--remote-debugging-address=0.0.0.0 \
--remote-debugging-port=9222
# 设置环境变量
export OPENCLI_CDP_ENDPOINT="http://localhost:9222"
```
---
### 关键环境变量
| 变量 | 说明 | 示例 |
|------|------|------|
| `OPENCLI_CDP_ENDPOINT` | CDP 端点地址 | `http://127.0.0.1:9222` |
| `OPENCLI_CDP_TARGET` | 选择特定目标 | `xiaohongshu`, `bilibili` |
| `OPENCLI_BROWSER_CONNECT_TIMEOUT` | 连接超时(秒) | `30` |
| `OPENCLI_BROWSER_COMMAND_TIMEOUT` | 命令超时(秒) | `60` |
---
### 架构对比
```
┌─────────────────────────────────────────────────────────┐
│ 方案一: 本地 Chrome + SSH 隧道 │
│ ┌──────────┐ SSH ┌──────────────┐ │
│ │本地Chrome│◄─────────────│ 远程服务器 │ │
│ │:9222 │ -R 9222 │ opencli命令 │ │
│ └──────────┘ └──────────────┘ │
└─────────────────────────────────────────────────────────┘
┌─────────────────────────────────────────────────────────┐
│ 方案二: 服务器 Headless Chrome │
│ ┌─────────────────────────────────────────────┐ │
│ │ 服务器 │ │
│ │ ┌─────────────┐ ┌─────────────────────┐ │ │
│ │ │ xvfb-run │───►│ google-chrome │ │ │
│ │ │ (虚拟显示) │ │ --remote-debugging │ │ │
│ │ └─────────────┘ └─────────────────────┘ │ │
│ │ :9222 │ │
│ │ ▲ │ │
│ │ │ │ │
│ │ ┌───────────────────────┘ │ │
│ │ │ opencli (CDPBridge连接) │ │
│ │ └──────────────────────────────────────────┘ │
│ └─────────────────────────────────────────────┘ │
└─────────────────────────────────────────────────────────┘
```
**推荐方案一**:因为小红书等网站需要登录状态,本地 Chrome 可以保持登录,服务器通过隧道复用。
---
## 是的!**提供 Cookie 就能生成新适配器**
OpenCLI 的 `explore → synthesize → generate` 流程可以自动分析网站并生成 CLI 适配器:
### 工作流程
```
┌─────────────┐ ┌─────────────┐ ┌─────────────┐
│ explore │ ──► │ synthesize │ ──► │ generate │
│ 深度探索 │ │ 合成 CLI │ │ 生成代码 │
└─────────────┘ └─────────────┘ └─────────────┘
```
### 具体步骤
**1. Explore(探索)- 自动发现 API**
```bash
opencli explore https://example.com \
--site mysite \
--wait-seconds 5
```
OpenCLI 会:
- 启动浏览器访问页面
- **自动滚动**触发懒加载
- **捕获所有网络请求** (XHR/Fetch)
- **分析 JSON 响应**结构
- 识别认证方式 (Cookie/Token)
- 检测前端框架 (React/Vue/Angular)
输出:`~/.opencli/explore/mysite_20240414_xxxx/` 包含:
- `manifest.json` - 站点元数据
- `endpoints.json` - 发现的所有 API 端点
- `capabilities.json` - 推断的功能列表
---
**2. Synthesize(合成)- 生成 CLI 候选**
```bash
opencli synthesize mysite
```
根据探索结果生成 **YAML 格式的 CLI 定义**:
- 推荐命令名称 (`search`, `hot`, `feed`, `detail`...)
- 参数映射 (`--limit`, `--keyword`, `--page`)
- 输出列定义
- 执行管道 (navigate → wait → evaluate → map)
输出:`candidates/search.yaml`
```yaml
site: mysite
name: search
description: Search content on mysite
strategy: cookie
browser: false
args:
keyword:
type: string
required: true
description: Search keyword
limit:
type: number
required: false
default: 10
pipeline:
- fetch:
url: "https://api.example.com/search?q={{keyword}}&limit={{limit}}"
- map:
title: "data.items[*].title"
url: "data.items[*].link"
```
---
**3. Generate(生成)- 一键创建**
```bash
# 全自动:explore → synthesize → verify → register
opencli generate https://example.com --goal search
```
或直接:
```bash
opencli generate https://example.com \
--site mysite \
--wait-seconds 5 \
--top 3
```
---
### 实际例子:给小红书生成新命令
假设小红书有个新功能 "创作者数据中心" 没有现成适配器:
```bash
# 1. 探索创作者中心页面(携带 Cookie)
export OPENCLI_CDP_ENDPOINT="http://localhost:9222"
opencli explore https://creator.xiaohongshu.com/statistics \
--site xiaohongshu-creator \
--wait-seconds 10
# 2. 合成候选命令
opencli synthesize xiaohongshu-creator
# 3. 查看生成的候选
ls ~/.opencli/explore/xiaohongshu-creator_*/candidates/
# 4. 验证并注册
opencli verify xiaohongshu-creator/candidates/stats.yaml
opencli register xiaohongshu-creator/candidates/stats.yaml
# 5. 使用!
opencli xiaohongshu-creator stats --start-date 2024-04-01
```
---
### Cookie 的作用
| 模式 | 是否需要 Cookie | 说明 |
|------|----------------|------|
| **API 模式** | ✅ 需要 | 直接调用后端 API,需认证头/Cookie |
| **Browser 模式** | ✅ 需要 | 控制真实浏览器,需登录态 |
| **Store 模式** | 可选 | 从 Pinia/Vuex 读取,有时无需认证 |
---
### 关键技术点
**explore 阶段捕获的数据:**
```javascript
// 网络请求拦截
{
url: "https://edith.xiaohongshu.com/api/sns/web/v1/search/notes",
method: "POST",
headers: {
"Cookie": "web_session=xxx...",
"X-Sign": "xxx" // 签名算法也被记录
},
requestBody: { keyword: "xxx", page: 1 },
responseBody: { data: { items: [...] } }
}
```
**自动推断:**
- `keyword` → `--keyword` 参数
- `page` → `--page` 参数(带默认值 1)
- `items` 数组 → 输出表格的行
- `data.items[*].title` → `title` 列
---
### 总结
> **你给我一个网站 + Cookie,我就能自动生成 CLI 适配器**
不需要手写代码,OpenCLI 通过**真实浏览器行为分析**自动推导:
- API 端点
- 参数映射
- 认证方式
- 数据提取路径
这是它的核心创新点:**从真实交互中"学习"网站 API,而非阅读文档**。
---
我更新了小红书的cookie,在 /home/ubuntu/xiaohongshu_cookies.txt
你根据这个cookie,实现一个我们自己的 my_iaohongshu_cli
在我们的git仓库 /home/ubuntu/nanocode目录下创建一个目录my_iaohongshu_cli,来实现这个cli
现在我完全理清了!让我给你完整梳理:
---
## 📊 小红书发布方式现状
### **CLI 工具**(实际可执行命令)
| 工具 | 路径/来源 | 状态 | 说明 |
|------|----------|------|------|
| **`xhs`** | `uv tool install xiaohongshu-cli` | ✅ **在用** | 原版 v0.6.4,从浏览器提取 Cookie |
| **`myxhs`** | `/home/ubuntu/nanocode/my_xiaohongshu_cli/` | ✅ **在用** | 我刚开发的,用本地 Cookie 文件 |
| `opencli xiaohongshu` | npm @jackwener/opencli | ❌ **已弃用** | 无适配器 (clis 目录为空) |
---
### **Skills**(nanobot 的指导文件)
| Skill | 用途 | 调用的工具 |
|-------|------|-----------|
| `xiaohongshu-cli` | 指导使用 `xhs` 命令 | → 调用 `xhs` |
| `xiaohongshu-poster` | 指导生成图文+发布 | → 调用 `xhs post` |
| `xiaohongshu-converter` | 内容转换 | ? |
| `xiaohongshu_integration` | 集成相关 | ? |
| `opencli-integration` | 指导使用 opencli | → **已无用** |
---
### **关键结论**
1. **`myxhs` 是工具,不是 Skill**
- 它只是 `/home/ubuntu/.local/bin/myxhs` 这个 CLI 命令
- 还没有对应的 Skill 文件来指导我使用它
2. **实际上只有 2 个有效的 CLI 工具**
- `xhs` - 原版,自动从浏览器取 Cookie
- `myxhs` - 我开发的,读本地文件 `/home/ubuntu/xiaohongshu_cookies.txt`
3. **OpenCLI 已废弃**
- `.openclaw/` 目录已删(之前清理过)
- `~/.opencli/clis/` 是空的,没有小红书适配器
- `opencli-integration` 这个 Skill 应该删除
4. **GitHub 仓库关系**
- `jackwener/xhs-cli` 和 `jackwener/xiaohongshu-cli` 是**同一个项目**
- PyPI 包名是 `xiaohongshu-cli`,安装后是 `xhs` 命令
---
### **建议**
要不要我:
1. 创建一个 `my-xiaohongshu-cli` 的 Skill 文件,指导我使用 `myxhs`?
2. 删除废弃的 `opencli-integration` Skill?
3. 或者统一只用 `xhs`,不再维护 `myxhs`?
4.
@@ -1,3 +1,188 @@
# 1 复制 .nanobot目录
# 2 初始化运行环境
## 2.1 个人 Telegram Bot
nanobot onboard --config ~/.nanobot-personal/config.json \
--workspace ~/.nanobot-personal/workspace
## 2.2 工作 Slack Bot
nanobot onboard --config ~/.nanobot-work/config.json \
--workspace ~/.nanobot-work/workspace
# 3启动Agent
nanobot gateway --config ~/.nanobot-personal/config.json --port 18796
nanobot gateway --config ~/.nanobot-work/config.json
# 4 创建不同的系统服务
**两个服务都已成功启动并运行!** ✅
| 服务 | 配置 | 端口 | 状态 |
|------|------|------|------|
| **nanobot-gateway** | /home/ubuntu/.nanobot/config.json | 18790 | ✅ active |
| **nanobot-gateway2** | /home/ubuntu/.nanobot2/config.json | 18796 | ✅ active |
**注意:** 当前手动运行的 nanobot 进程(PID 444830)需要停止,因为 systemd 服务已经在运行。需要我帮你停止手动进程吗?
**创建新服务的时候,一定一定需要告诉nanobot,新服务的名称,否则很有可能就把前面的nanobot服务名称给替换掉了@@@@@@@@!!!!!!!**
**两个服务文件内容:**
---
**nanobot-gateway.service** (端口 18790)
```
[Unit]
Description=Nanobot Gateway Service (Port 18790)
After=network.target
[Service]
Type=simple
User=ubuntu
Group=ubuntu
WorkingDirectory=/home/ubuntu/.nanobot/workspace
Environment="HOME=/home/ubuntu"
Environment="PATH=/home/ubuntu/.local/bin:/usr/local/bin:/usr/bin:/bin"
Environment="UV_PYTHON=/home/ubuntu/.local/share/uv/tools/nanobot-ai/bin/python3"
ExecStart=/home/ubuntu/.local/bin/nanobot gateway --config /home/ubuntu/.nanobot/config.json --port 18790
Restart=always
RestartSec=5
StandardOutput=journal
StandardError=journal
[Install]
WantedBy=multi-user.target
```
---
**nanobot-gateway2.service** (端口 18796)
```
[Unit]
Description=Nanobot Gateway Service 2 (Port 18796)
After=network.target
[Service]
Type=simple
User=ubuntu
Group=ubuntu
WorkingDirectory=/home/ubuntu/.nanobot2/workspace
Environment="HOME=/home/ubuntu"
Environment="PATH=/home/ubuntu/.local/bin:/usr/local/bin:/usr/bin:/bin"
Environment="UV_PYTHON=/home/ubuntu/.local/share/uv/tools/nanobot-ai/bin/python3"
ExecStart=/home/ubuntu/.local/bin/nanobot gateway --config /home/ubuntu/.nanobot2/config.json --port 18796
Restart=always
RestartSec=5
StandardOutput=journal
StandardError=journal
[Install]
WantedBy=multi-user.target
```
**服务管理命令:**
---
**nanobot-gateway** (端口 18790 - 当前这个我)
```bash
# 启动
sudo systemctl start nanobot-gateway
# 重启
sudo systemctl restart nanobot-gateway
# 停止
sudo systemctl stop nanobot-gateway
# 查看状态
sudo systemctl status nanobot-gateway
# 开机启动
sudo systemctl enable nanobot-gateway
```
---
**nanobot-gateway2** (端口 18796)
```bash
# 启动
sudo systemctl start nanobot-gateway2
# 重启
sudo systemctl restart nanobot-gateway2
# 停止
sudo systemctl stop nanobot-gateway2
# 查看状态
sudo systemctl status nanobot-gateway2
# 开机启动
sudo systemctl enable nanobot-gateway2
```
---
**常用快捷命令:**
```bash
# 同时重启两个
sudo systemctl restart nanobot-gateway nanobot-gateway2
# 同时查看状态
sudo systemctl status nanobot-gateway nanobot-gateway2
# 查看日志
sudo journalctl -u nanobot-gateway -f
sudo journalctl -u nanobot-gateway2 -f
```
---
**我的运行环境** ✅
- **工作目录**: `/home/ubuntu/.nanobot2/workspace`
- **配置文件**: `~/.nanobot2/config.json`
- **配置中的 workspace**: `/home/ubuntu/.nanobot2/workspace`
确实是在 `.nanobot2` 环境下运行。
---
**当前 nanobot 进程**
| PID | 命令 | 说明 |
| ------ | --------------------------------------------------------------- | ------------------------------- |
| 1550 | `nanobot gateway` | 另一个 gateway 实例(无 `--config` 参数) |
| 443106 | `nanobot gateway --config ~/.nanobot2/config.json --port 18796` | **我(当前会话)** |
---
**关于 onboard 实例**
没有找到 `nanobot onboard` 进程。可能:
- 之前运行过但已退出
- 或者记混了(可能是 PID 1550 那个 gateway 实例?)
需要我帮你清理 PID 1550 的那个 gateway 实例吗?或者你想确认一下 onboard 进程的状态?
## 🔄 **Nanobot 克隆部署方案**
### **当前架构分析**
@@ -323,3 +508,5 @@ docker exec -it nanobot-main nanobot --version
**蔡叔叔,现在的内存做日常任务够用,但跑多个Docker实例会比较紧张。建议先不加容器,或者升级服务器内存到4GB后再部署。** 🐈
---
@@ -491,4 +491,8 @@ function aStarSearch(currentState) {
| 快速实现、可解释、实时响应 | ✅ 规则型 AI |
| 研究性质、有完整信息、离线计算 | ✅ A* 或蒙特卡洛 |
**斗地主选规则型 AI 是正确选择** —— 不是因为 A* 不强大,而是斗地主的"不完美信息"特性让 A* 无从下手。规则型 AI 更适合这个场景。
**斗地主选规则型 AI 是正确选择** —— 不是因为 A* 不强大,而是斗地主的"不完美信息"特性让 A* 无从下手。规则型 AI 更适合这个场景。
---
+32 -1
View File
@@ -133,4 +133,35 @@ ls -lh /home/ubuntu/nanocode/backup_logs/
2. **增加监控**:可以添加cron任务执行状态监控
3. **定期清理**:日志文件可能需要定期清理
需要我帮你检查某个特定任务的执行情况,或者调整cron配置吗?
需要我帮你检查某个特定任务的执行情况,或者调整cron配置吗?
完成!**3个任务已暂停(注释)**:
| 原时间 | 已暂停的任务 | 脚本路径 |
| ----- | ---------------------------- | ------------------------------------------------------------------------------------- |
| 10:00 | 小红书热点趋势自动化 | `/home/ubuntu/nanocode/xhs_trending_automation/scripts/scheduler.sh` |
| 16:00 | IT资讯自动化 (InformationCrawler) | `/home/ubuntu/.nanobot/workspace/InformationCrawler/main_scheduler_with_xhs_fixed.sh` |
| 16:00 | IT资讯自动化完整版 | `/home/ubuntu/nanocode/it_automation_enhanced/scripts/main_scheduler_complete.sh` |
---
**文件路径汇总**:
```bash
# 10:00 任务
/home/ubuntu/nanocode/xhs_trending_automation/scripts/scheduler.sh
# 16:00 任务(2个)
/home/ubuntu/.nanobot/workspace/InformationCrawler/main_scheduler_with_xhs_fixed.sh
/home/ubuntu/nanocode/it_automation_enhanced/scripts/main_scheduler_complete.sh
```
---
**恢复方法**(以后想恢复时执行):
```bash
# 取消注释(去掉行首的 #)
crontab -l | sed 's/^# \(0 \(10\|16\) \* \* \*.*\)/\1/' | crontab -
```
需要现在恢复吗?还是保持暂停?
@@ -1,4 +1,90 @@
---
## 1. 发公众号文章的完整流程
依赖 **baoyu-post-to-wechat** 这个 skill,大致分这几步:
**① 文章改编**
- 你给我一个主题 + 原始文章(可能是链接、文档、或者直接贴文字)
- 我基于你的风格和公众号定位进行改写、润色、分段
- 如果你需要配图,我会调用 **baoyu-imagine** skill 生成信息图 / 配图(用的是 Seedream 模型,不走我的 token)
**② 准备发布内容**
- 把改写好的文章整理成适合微信公众号的格式(支持纯文本或 HTML)
- 如果需要多图、图文混排,也一并处理
**③ 调用发布接口**
- `baoyu-post-to-wechat` 通过微信公众平台的 API 直接发布
- 支持图文混排、多图上传、HTML 内容、AI 图片生成
- 用的是 WeWrite 同一套账号配置,所以不需要你手动登录
---
## 2. 博客是怎么插入的?
这个走的是另一条路径——**playwright-blog-automation** skill + 你的 **personal-blog** 项目,两条腿走路:
**方式 A:Playwright 自动化发布(实际在用)**
- 你的博客后台:`http://129.211.173.87:8888/`(admin/abcd1234)
- 我用 Playwright 打开浏览器 → 登录 → 点「写文章」→ 填入标题和内容 → 发布
- 这个方式走的是真实浏览器操作,适合单次快速发布
**方式 B:直接写项目文件(更 structured)**
- 你的 personal-blog 项目在 `~/nanocode/personal-blog`
- 如果是静态博客(比如 Next.js / Hexo 之类),我会直接在项目里新建 Markdown 文章文件
- 然后跑构建命令(比如 `npm run build` 或 `hexo generate`)重新生成静态页面
- 这样文章就永久保存在你的项目里了,方便版本管理和后续修改
---
**简单总结:**
- 公众号 → 走 API 直接发布,全自动
- 博客 → 要么 Playwright 登录后台发,要么写项目文件 + 构建
两个渠道可以同步进行,同一篇文章改完格式后两边一起发。你现在是有文章要发吗?
---
对,这个**双平台同步**是 `baoyu-post-to-wechat` skill 中的 `baoyu_optimized.py` 脚本内建的功能,不是我额外控制的——它是 v4.0 版本新增的特性。当你运行命令发布到公众号时,它会自动:
1. **发布到公众号**(微信API)
2. **同步到个人博客**(把图片复制到博客 uploads 目录 + 创建博客文章)
两条线路互不阻塞,公众号发布失败不影响博客,反之亦然。
所以我现在直接运行发布命令,就会两边一起发。开始发布文章?
---
好问题,直接看代码确认的答案:
**1. blog_sync 不是由 `playwright-blog-automation` 触发的。**
它直接内嵌在 `baoyu_optimized.py`(属于 `baoyu-post-to-wechat` 技能)的 `publish_markdown_with_images()` 方法里。发布 Markdown 时,第 557-563 行自动调用 `blog_sync.sync_markdown_to_blog()`,用的是 REST API(端口 8889)而非 Playwright。而 `playwright-blog-automation` 是用于你直接说"发布博客"时走浏览器自动化那条路的。
**2. 没有任何关键字/提示词匹配来决定是否同步博客。**
它是硬编码的 —— 只要用 `baoyu_optimized.py` 的 `markdown` 命令,博客同步**无条件执行**(外面包了 try/except,失败不影响公众号发布)。也就是说,我让你发布公众号时,博客同步自动就跑了,不是我"决定"要同步。
不过注意:如果用 `publish_html()`(html 命令),是没有博客同步的。只有 `markdown` 命令(即 `baoyu_optimized.py markdown <文件>`)才会自动同步。
上次执行时 blog_sync 因为缺 `sqlalchemy` 依赖而失败,但公众号发布完全不受影响,符合设计上"独立支线互不阻塞"的原则。
---
你通过baoyu-post-to-wechat这个技能,改写以下内容(要求不少于800字),如果公众号的id和key找不到可以查看/home/ubuntu/wewrite/config.yaml文件,发布公众号文章 :
我闺蜜这两天和她的二婚老公闹掰了,又准备离婚了。本就是二婚,再离一次就三婚了。我觉得女人呀,不得已还是不要轻易的离婚,只要原配不犯原则性的大错能原谅就原谅,安安稳稳过日子多好。
​​​​​二婚夫妻都是互相算计着过的。看我闺蜜,和二婚老公结婚5年,生了个小闺女刚上幼儿园,她在家带孩子又不能上班,老公在单位上班,具体挣多少钱她也不清楚,反正一个月给3000生活费,多一分没有,她在家侍候一家老小吃喝。
​​​她和前夫有个儿子在外打工,已经到了结婚年龄,想买房首付都凑不上,她老公一点忙也不帮。她老公名下有两套房子,一套自住,一套出租。我闺蜜让她老公把那套房子过户给她儿子当婚房,没成想老公直接恼了,说为啥他要给别人儿子房子,儿子又不是他的。这话闺蜜堵的哑口无言~~顿时寒了心
​​​想想这样的日子过的真是没劲呐,这二婚婚姻,到底图个啥
## 🎉 **完美!增强版 baoyu-post-to-wechat 测试成功!**
### ✅ **测试结果**
@@ -1,3 +1,12 @@
使用/home/ubuntu/images 下的 074 图片,使用/home/ubuntu/fonts 下的 Huiwenmincho 字体,黑色字体,字体尽可能大,但是左右需要适量留白,图片下方有人物图案,文字不要遮住图案的同时保证图片顶部有留白,发布小红书笔记,小红书的cookies在/home/ubuntu/xiaohongshu_cookies.txt,文案如下:
若言梦是空,觉後应无记。
若言梦非空,应有真实事。
燔烧阳自招,沈溺阴自致。
令汝尝惊魇,岂知安稳睡。
## **✅ 已记录并创建 Skill!**
### **📁 记录位置**
@@ -0,0 +1,82 @@
好问题!nanobot 在 Windows 上主要有两种方式实现开机自启,推荐用 **任务计划程序**(最简单,无需额外工具)或 **NSSM**(真正的系统服务)。
先确认启动命令——从状态看,你用的是 `nanobot gateway`:
---
## 方式一:任务计划程序(推荐,最简单)
无需装任何东西,开机登录时自动启动:
**1. 按 `Win + R`,输入 `taskschd.msc` 打开任务计划程序**
**2. 右侧点击「创建任务」**
**3. 配置如下:**
| 选项卡 | 设置 |
|--------|------|
| **常规** | 名称:`nanobot`<br>勾选「使用最高权限运行」<br>选择「不管用户是否登录都要运行」(或「只在用户登录时运行」) |
| **触发器** | 新建 → 开始任务:**启动时**(或**登录时**) |
| **操作** | 新建 → 操作:**启动程序**<br>程序或脚本:`C:\Users\niaod\.local\bin\nanobot.exe`<br>添加参数:`gateway`<br>起始于(可选):`C:\Users\niaod\.nanobot\workspace` |
| **条件** | 取消勾选「只有在计算机使用交流电源时才启动此任务」 |
| **设置** | 勾选「如果任务失败,按以下频率重启」设为 1 分钟<br>「允许按需运行任务」 |
**4. 确定后输入 Windows 密码即可。**
> ✅ 优点是零依赖,支持重启、日志记录。缺点是只在用户登录后才启动。
---
## 方式二:NSSM — 包装为真正的 Windows 系统服务
如果你想要一个在系统启动时(**甚至在登录前**)就运行、后台常驻、不弹出窗口的真 · 服务:
### 1️⃣ 下载 NSSM
```powershell
winget install nssm
# 或手动下载:https://nssm.cc/download
```
### 2️⃣ 创建服务
```powershell
# 管理员 PowerShell
nssm install nanobot
```
在弹出的 GUI 窗口中设置:
- **Application** → Path: `C:\Users\niaod\.local\bin\nanobot.exe`
- **Application** → Arguments: `gateway`
- **Startup directory**: `C:\Users\niaod\.nanobot\workspace`
- **Details** → Display name: `nanobot AI Assistant`
- **Details** → Startup type: **Automatic**
点 Install Service,搞定。
### 管理命令
```powershell
nssm start nanobot # 启动服务
nssm stop nanobot # 停止
nssm restart nanobot # 重启
nssm edit nanobot # 修改配置
```
---
## 方式三:开机启动文件夹(最简但最弱)
```powershell
# Win+R → shell:startup
# 创建一个快捷方式:
目标: C:\Users\niaod\.local\bin\nanobot.exe gateway
```
缺点是会有命令行窗口,而且没有自动重启。
---
**我建议你用方式一(任务计划程序)**,零安装、带重启策略、足够稳定。你目前用的是 `gateway` 还是 `serve` 命令?
+4 -1
View File
@@ -1,5 +1,7 @@
✅ **已记录!**
**小红书搜索流程已存档:**
```
xhs search "关键词" --sort popular/latest --json
@@ -184,4 +186,5 @@ deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ noble-backports main restricted
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ noble-security main restricted universe multiverse
EOF
sudo apt update -y
sudo apt update -y
@@ -0,0 +1,198 @@
多模态大模型做图像文字识别(OCR),本质上是**让LLM直接"看懂"图片里的文字**,而不是走传统OCR那条"先检测文字区域 → 再逐个识别 → 最后排版"的流水线。
核心机制可以拆成三步:
**1. 视觉编码(Vision Encoder)**
图像被切成小方块(patches),经过ViT(Vision Transformer)转成一串"视觉token"。这些token携带了图像的语义信息——包括文字的形状、位置、上下文。
**2. 对齐投影(Projection Layer)**
视觉token的维度和大语言模型的文本token维度不同,需要一个投影层(也叫Adapter或Connector)把视觉特征映射到LLM能理解的语义空间里。这样图片信息和文字信息就在同一个向量空间了。
**3. 统一解码(Unified LLM)**
视觉token和文本prompt(比如"图中写了什么")拼接成一条序列,送进LLM做自回归生成。模型学到的不是"这个字长什么样",而是**"这个视觉patch对应的文本token应该是什么"**。
---
**和传统OCR的关键区别:**
- **端到端**:没有独立的文字检测模块,模型自己决定看哪里、读什么
- **上下文理解**:能结合场景理解文字。比如看到路牌上的"STOP",不只是识别字母,还知道这是交通标志
- **分辨率处理**:为了看清小字,通常会做高分辨率切分(把大图拆成几块分别编码)或动态分辨率缩放
**训练层面:**
靠的是海量图文对(image-text pairs)的预训练,让模型建立视觉特征和文字token之间的统计关联。后期再用专门的OCR数据微调,提升对密集文字、表格、手写体的识别率。
所以Kimi这类模型不是"长了眼睛的OCR引擎",而是**把OCR变成了语言模型的token预测问题**。
- **中文 + 工业级**:PaddleOCR-VL(精度最高,功能最全)
- **长文档 + 高效率**:DeepSeek-OCR(压缩比高,显存友好)
- **轻量 + 边缘部署**:GLM-OCR(0.9B,低显存)
- **办公表格 + 稳定**:HunyuanOCR(腾讯背书,版式还原好)
- **快速验证 + 多语种**:EasyOCR(开箱即用,80 + 语言)
-
# PaddleOCR
https://github.com/PaddlePaddle/PaddleOCR
# GLM-OCR 是一款面向复杂文档理解的多模态 OCR 模型
https://github.com/zai-org/GLM-OCR/blob/main/README_zh.md
# EasyOCR
https://github.com/JaidedAI/EasyOCR
# Deepseek OCR
https://github.com/deepseek-ai/DeepSeek-OCR
https://github.com/rdumasia303/deepseek_ocr_app
# 尿检试纸识别
![](file:///C:/Users/hukou/Documents/Tencent%20Files/2927951/nt_qq/nt_data/Pic/2026-05/Thumb/f913a3c0e3511f2e672f32b29f0bce87_0.png)
我再来问一个多模态的问题。我先描述一下这个图片,**这是一个14项尿常规尿检试纸,试纸两端是两个红色定位块,从红色定位块的边缘算起,计算两点之间的距离,进行距离14等分,读取每个等分的中心点的RGB颜色值,就得到尿检试纸的颜色值。** 如果我给你一个这个图片,结合我的上述介绍,你怎么完成这个任务?技术原理是什么?
---
这是个非常好的问题,而且刚好踩到了当前多模态大模型的**能力边界**上。
先说结论:**纯多模态大模型(如Kimi、GPT-4V)只能完成这个任务的"前半段",精确的像素级RGB读取必须交给代码来做。**
---
**大模型能做什么**
拿到这张图,模型通过ViT视觉编码器能:
- 识别出"这是一条尿检试纸,两端有红色参考块"
- 数出"中间大约有14个色块区域"
- 描述各区域的大致颜色("左数第2个偏蓝绿色"、"第5个是橙黄色")
- 理解你描述的"14等分"规则
**大模型做不到什么(核心局限)**
你要求的**精确像素坐标定位 + 精确RGB数值提取**,端到端大模型做不了。原因在底层架构:
1. **分辨率损失**:图像被切成patches(比如14×14像素为一个视觉token),模型看到的不是原始像素矩阵,而是patch聚合后的统计特征。一个token可能覆盖了几十个像素,它无法精确定位"红色定位块的边缘到底在第几列"。
2. **没有数值读取能力**:LLM生成的是文本token,RGB值(比如`#4A90D9`)是它根据视觉特征"猜"出来的,不是从像素里"读"出来的。误差可能很大,尤其是相近颜色。
3. **空间定位模糊**:模型能知道"红色块在左边",但给不出精确的像素坐标`(x1, y1, x2, y2)`,也就无法做严格的几何14等分。
---
**真正的技术方案:大模型理解 + 代码执行**
工程上这类任务的标准做法是**视觉理解 → 代码生成 → 程序执行**:
1. **大模型**:识别试纸在图中的大致位置,确认红色定位块
2. **生成代码**:让模型写出Python脚本,用OpenCV/PIL做精确的像素操作
3. **代码执行**:自动边缘检测、坐标计算、14等分、中心点采样、输出RGB
核心代码逻辑大概这样:
```
1. 红色区域检测(HSV阈值分割)→ 定位左右两个红色块
2. 计算两红色块中心/边缘的水平距离 D
3. 将 D 14等分,得到14个采样中心点坐标
4. 在每个中心点取ROI平均RGB(避免单像素噪声)
5. 输出 [R,G,B] 列表
```
---
**一句话总结**
多模态大模型擅长"看懂这是什么",但不擅长"精确测量像素"。你描述的任务本质是**计算机视觉测量问题**,不是视觉理解问题。当前最好的方案是让大模型当"视觉理解大脑",让OpenCV代码当"精确执行的手"。
蔡叔叔如果需要,我可以把这段OpenCV的完整代码写出来,直接在图上跑一遍,给你真实的14组RGB值。要吗?
---
# 那么,为什么类似豆包,Grok等,根据提示词,为什么可以生成看起来非常**精确**的图像呢?是不是可以说,也不一定不是"精确测量像素"?
蔡叔叔这个反问很犀利,刚好击中了一个容易混淆的关键点。
先说结论:**图像生成能做"精确像素",图像理解反而做不到。这两个任务在底层是完全相反的方向。**
---
**根本区别:创造 vs 压缩**
| | 图像生成(豆包/Grok作图) | 图像理解(读你的尿检试纸) |
|---|---|---|
| **方向** | 噪声/语义 → **像素** | 像素 → **语义token** |
| **每个像素的来历** | 模型**亲手计算**出来的 | 模型**压缩丢弃**后无法恢复 |
| **知不知道RGB值** | 知道,因为它在创造 | 不知道,因为它看到的是patch统计特征 |
| **精确性来源** | 去噪过程中逐步锁定每个像素的值 | 只能从模糊特征反推,无法回查原始像素 |
---
**为什么生成模型能"精确"?**
豆包、Grok、Midjourney 这些底层是 **Diffusion/DiT** 模型。生成一张图的过程是这样的:
```
随机噪声
↓
去噪步骤1:大致轮廓(32×32粗网格)
↓
去噪步骤2:加入细节(64×64)
↓
去噪步骤3:精细纹理(1024×1024)
↓
最终输出:每个像素的R/G/B值都是模型一步步算出来的
```
**每一个像素都是模型自己"画"的,所以它当然"知道"每个位置的值。** 就像画家知道自己画布上每个点涂了什么颜色。
---
**为什么理解模型反而"不精确"?**
而多模态理解模型(如Kimi、GPT-4V)走的是另一条路:
```
原始图像 1920×1080(200万像素)
↓
ViT切成 14×14 的patches → 约2万个patch
↓
每个patch压成一个视觉token(比如768维向量)
↓
LLM只看到几百个token,原始像素信息已经丢了
```
这就好比你把一张高清照片压缩成一张模糊的缩略图,然后问缩略图"第137行第258列的像素是什么颜色"——它根本没保存这个信息。
---
**回到你的问题**
你问:"是不是也可以说,不一定不是精确测量像素?"
对**生成任务**来说,是的——生成模型确实在精确操纵像素。
但对**理解任务**(读你的尿检试纸),**不是**。现有的多模态大模型无论怎么升级,只要架构还是"图像编码器 + LLM",就存在**信息瓶颈**:几百个视觉token承载不了几百万像素的信息。
这也是为什么真正做工业视觉检测(比如读试纸、读仪表盘、零件尺寸测量)的方案,一定是 **VLM做识别和理解 + OpenCV/传统CV做像素级计算**,而不是让大模型直接报RGB值。
---
**一个更直观的比喻**
- **生成模型** = 画家画画。他知道每一笔的颜色和位置,因为他自己在画。
- **理解模型** = 评论家看画。他能告诉你"这是一幅星空",但你要问他"左下角第三颗星星的RGB值",他只能凭印象猜,无法拿起放大镜去量。
蔡叔叔,如果往深了说,现在有一些前沿研究(比如**原生多模态模型** Gemini 2.5、或者 **VQ-VAE token化** 的路线)试图让理解和生成共用一套"视觉词汇表",未来也许能缩小这个差距。但至少目前,读试纸这种活还是得靠代码。
@@ -0,0 +1,338 @@
**核心差异:Snap 是一个容器/沙箱,Playwright 的是裸二进制。**
---
**1. 安装与运行方式**
| | Snap Chromium | Playwright Chromium |
|--|---------------|---------------------|
| 位置 | `/snap/chromium/3416/...` | `~/.cache/ms-playwright/chromium-1208/...` |
| 安装方式 | Ubuntu snap 包管理器 | Playwright `install` 脚本直接下载解压 |
| 运行环境 | **Snap 沙箱容器**(受限的文件系统、权限、IPC) | 普通用户进程,无额外容器层 |
| 更新 | 自动(snap 控制) | 手动(与 Playwright 版本绑定) |
---
**2. 为什么 agent-browser 在 Snap 版上卡住**
Snap 的安全模型对自动化工具很不友好:
- **文件系统隔离**:Snap Chromium 只能看到 `/home/ubuntu/snap/chromium/` 下的数据,对 `/tmp` 等路径有受限访问
- **进程间通信限制**:agent-browser 通过 Chrome DevTools Protocol (CDP) 连接 Chromium,snap 的 AppArmor 配置可能阻塞或延迟这个连接
- **无头模式问题**:snap 版在 `--headless=new` 模式下经常需要额外的 `--enable-unsafe-swiftshader` 等参数才能正常工作
- **会话残留**:snap Chromium 崩溃或卡住时,agent-browser 的 daemon 还在等待 CDP 响应,导致后续命令全部超时
**刚才的实际现象**:
```
[chrome] <defunct> ← 僵尸进程
agent-browser open ... → 超时 124
```
就是 snap Chromium 启动后 CDP 连接挂起,agent-browser 一直等不到响应。
---
**3. 为什么 Playwright 一直工作正常**
Playwright 的 Chromium 是**专门为自动化设计的**:
- 直接下载 `.zip` 解压,没有任何 snap/apparmor 沙箱层
- Playwright 自己管理启动参数、user-data-dir、CDP 端口
- 支持 `--no-sandbox` 无缝运行
- 版本经过 Playwright 团队测试,确保 CDP 协议兼容性
---
**4. 对 agent-browser 的建议**
让 agent-browser 用 Playwright 的 Chromium,而不是 snap 版:
```bash
# 方式一:每次命令指定路径
agent-browser open https://example.com \
--executable-path ~/.cache/ms-playwright/chromium-1208/chrome-linux64/chrome \
--args "--no-sandbox"
# 方式二:环境变量(推荐)
export CHROME_PATH="$HOME/.cache/ms-playwright/chromium-1208/chrome-linux64/chrome"
agent-browser open https://example.com --args "--no-sandbox"
# 方式三:让 agent-browser 自己下载 Chrome for Testing
agent-browser install
# 这会下载到 ~/.cache/agent-browser/chrome/...
```
---
**一句话总结**:Snap 是给普通用户用的浏览器,Playwright 的是给机器人用的浏览器。自动化场景下,永远优先用 Playwright 的 Chromium 或 Chrome for Testing。
---
基于文档,我的日常自动化测试工作流应该这样分层执行:
---
**一、环境准备(每次新会话只需确认一次)**
```
# 1. 检查 Playwright Chromium(优先用,避开 Snap)
ls ~/.cache/ms-playwright/chromium-*/chrome-linux*/chrome
# 2. 如需要 agent-browser,强制指定 Playwright 的 Chrome
export CHROME_PATH="$HOME/.cache/ms-playwright/chromium-1208/chrome-linux64/chrome"
# 3. 确认目标服务在运行
curl -s http://129.211.173.87:PORT/health
```
**原则**:永远不用 Snap Chromium 做自动化,它是给用户手动浏览器的,不是给机器人的。
---
**二、三级测试策略**
| 级别 | 场景 | 工具 | 耗时 |
|------|------|------|------|
| **L1 视觉验证** | "截图看看效果" | Playwright 截图 | 10-30 秒 |
| **L2 功能验证** | "点一下按钮看是否正常" | Playwright 脚本 | 1-2 分钟 |
| **L3 E2E 回归** | "跑一遍完整用户流程" | Playwright Test + 断言 | 3-5 分钟 |
---
**三、具体执行流程**
**L1:快速截图验证**
```python
# /home/ubuntu/.nanobot/workspace/tests/quick_screenshot.py
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(
executable_path="~/.cache/ms-playwright/chromium-1208/chrome-linux64/chrome",
args=["--no-sandbox"]
)
page = browser.new_page(viewport={"width": 1280, "height": 800})
page.goto("http://129.211.173.87:10002/")
page.screenshot(path="/tmp/test_result.png", full_page=True)
browser.close()
```
我执行这个脚本,截图返回给用户判断。
**L2:交互功能验证**
```python
# 验证"特色展示"眼睛按钮点击后状态变化
page.goto("http://129.211.173.87:10002/admin")
page.fill('input[name="username"]', "admin")
page.fill('input[name="password"]', "abcd1234")
page.click('button[type="submit"]')
page.wait_for_url("**/admin/dashboard")
# 进入特色展示页面
page.goto("http://129.211.173.87:10002/admin/features")
page.click('tr:first-child .eye-icon') # 点击第一个眼睛
# 验证 API 是否被调用(拦截网络)
with page.expect_response("**/api/features/**") as resp:
page.click('button:has-text("保存更改")')
assert resp.value.status == 200
```
**L3:完整 E2E 用例(Playwright Test)**
```python
# tests/test_admin_flow.spec.py
def test_feature_toggle_auto_save(page):
page.goto("/admin/login")
page.fill('[data-testid="username"]', "admin")
page.fill('[data-testid="password"]', "abcd1234")
page.click('[data-testid="login-btn"]')
expect(page).to_have_url("/admin/dashboard")
page.goto("/admin/features")
# 点击眼睛,验证立即发送 PATCH 请求
with page.expect_request("**/api/features/*/toggle") as req:
page.click("tr:first-child .toggle-btn")
assert req.value.method == "PATCH"
```
---
**四、元素定位策略(按优先级)**
文档里强调了这个,我实际执行时:
1. **首选 Accessibility 语义**(如果 agent-browser 可用)
- `role=button, name="保存更改"` — 组件重构后依然稳定
2. **次选测试专用属性**(Playwright 推荐)
- `data-testid="login-btn"` — 前端配合添加,最稳定
3. **再次选语义标签**
- `button:has-text("登录")` — 比 CSS 层级稳定
4. **兜底 CSS 选择器**
- `.nav-bar > ul > li:nth-child(3)` — 最脆弱,只在上面都不可用时用
**永远不用的定位方式**:截图像素匹配、OCR 识别坐标。那是 PyAutoGUI 的路线,不是浏览器自动化。
---
**五、和 nanobot 工作流的结合**
当用户说:
| 用户指令 | 我的执行 |
|----------|----------|
| "截图看一下首页" | L1:启动浏览器 → 访问 → 截图 → 返回图片 |
| "测试一下登录功能" | L2:写临时脚本 → 执行 → 报告结果 |
| "验证特色展示自动保存" | L2/L3:先定位元素 → 拦截网络 → 验证 API 调用 |
| "跑一遍完整测试" | L3:检查 test 目录有无 spec 文件 → 执行 `pytest` 或 `playwright test` |
脚本位置:放在 `/home/ubuntu/.nanobot/workspace/tests/` 下(不污染 ~/nanocode)。
---
**六、反检测注意事项**
如果测试的是第三方网站(如 fumamx.com):
- 设置真实 User-Agent
- 模拟真实鼠标轨迹(Playwright 默认已做)
- 适当添加 `page.wait_for_timeout(random.randint(500, 1500))` 模拟人类停顿
---
**一句话总结我的测试能力**
> 我可以用 **Playwright + CDP 协议** 控制真实 Chromium 浏览器,通过 **DOM/AX Tree 语义定位** 执行点击、填写、导航等操作,最后 **截图或断言** 验证结果。脚本放在 workspace,不污染项目代码。
蔡叔叔,这个理解对吗?需要我针对某个具体页面(比如 website-new 的访客端或后台)先跑一次 L1 截图验证看看?
---
这是一个很好的架构问题。我的判断是:
---
**1. agent-browser 能被 Playwright + CDP 替代吗?**
**底层控制:完全可以替代。** Playwright 本身就是基于 CDP 的,能力只强不弱。
| 能力 | agent-browser | Playwright |
|------|---------------|------------|
| CDP 控制 | ✓ | ✓(原生) |
| Accessibility Tree | `snapshot -i` | `page.accessibility.snapshot()` |
| 语义定位 | `@eN` refs | `get_by_role()`, `get_by_label()`, `get_by_text()` |
| 网络拦截 | ✓ | ✓(更成熟) |
| 自动等待 | ✓ | ✓(业界最强) |
| 截图对比 | ✓ | ✓ + 像素级 diff |
| 录制视频 | WebM | ✓ |
| 并行/多 context | session | browser context 隔离 |
| **AI Chat** | ✓(内置) | ✗(需自行封装) |
| **Skills 分发** | ✓(内置) | ✗(但 nanobot 有 skills 系统) |
| **稳定性** | 一般(Snap 兼容问题) | **非常好** |
agent-browser 真正的独特价值只有两点:
- **令牌优化的 AX Tree 输出**(给 LLM 看很省 token)
- **自然语言 Chat 接口**(`agent-browser chat "search google for..."`)
这两点可以用 Playwright + 一个简单的包装层来实现,不需要依赖 agent-browser 本身。
---
**2. 应该做成 skill 吗?**
**应该。** 理由:
你刚才的文档里已经沉淀了一套**完整的测试方法论**:
- 环境检查(避开 Snap Chromium)
- 三级测试策略(L1 截图 / L2 功能 / L3 E2E)
- 元素定位优先级(AX > data-testid > 语义文本 > CSS 兜底)
- 反检测注意事项
这些不是一次性的,而是**可复用的工作流知识**。做成 skill 后,任何项目都可以调用。
---
**3. 理想的 skill 设计**
不叫 `agent-browser`,叫 `browser-automation` 或 `e2e-testing`:
```
skills/browser-automation/SKILL.md
├── 环境检查(Playwright Chromium 路径、目标服务可达性)
├── L1 快速截图(一行命令生成截图)
├── L2 功能验证(拦截网络 + 断言)
├── L3 E2E 回归(Playwright Test 规范)
├── 元素定位策略(AX Tree > data-testid > text > CSS)
├── 反检测配置(真实 UA、随机延迟)
└── 常用脚本模板
```
这个 skill 底层用 **Playwright + CDP**,输出格式参考 agent-browser 的 Accessibility Tree(但自己做),不依赖 vercel-labs/agent-browser CLI。
---
**4. 结论**
> **不需要依赖 agent-browser。** Playwright + CDP 能力完全覆盖,稳定性更好。
>
> **应该做成 skill。** 把文档里沉淀的方法论标准化,以后任何项目说"测试一下",我自动按 L1/L2/L3 策略执行。
要我现在就创建这个 `browser-automation` skill 吗?基于你刚才的文档内容。
---
蔡叔叔,汇报当前进展:
---
**1. browser-automation skill 已完成 ✅**
创建了技能文件:`/home/ubuntu/.nanobot/workspace/skills/browser-automation/SKILL.md`
包含脚本:
- `test_screenshot.py` — L1 任意 URL 截图
- `test_navigate.py` — L1 基础导航验证
- `test_baidu_search.py` — L2 百度搜索(含 JS 绕过 visibility 技巧)
- `test_generic_search.py` — L2 通用搜索框架
**2. 百度测试验证通过 ✅**
之前遇到的 headless 模式下百度搜索框 visibility 为 0 的问题,已用 `page.evaluate` JS 直接操作 DOM 绕过,成功搜索并截图。
---
**3. 博客后台登录遇到障碍 ❌**
访问 `http://129.211.173.87:10002/admin/` 返回 **404 Not Found**。
检查后发现:
- 端口 10002 确实有一个 Vite dev server 在运行(PID 1857)
- 但 `~/nanocode/website-new/` 目录**已不存在**(被删除或迁移了)
- 所以后台服务没有实际部署
---
**需要你确认两点:**
1. **website-new 项目现在在哪?** 正确后台地址是什么?(之前不是 `129.211.173.87:10002` 吗?)
2. **还要继续测其他场景吗?** 比如:
- 用通用搜索框架测试 Google / DuckDuckGo
- 测试我们自己的其他项目(fumamxCRM 等)
请指示下一步 👆
---