时地方

This commit is contained in:
coco
2026-07-21 14:53:24 +08:00
parent 8b94d76799
commit 1b8027e61c
308 changed files with 61360 additions and 10 deletions
@@ -0,0 +1,338 @@
**核心差异:Snap 是一个容器/沙箱,Playwright 的是裸二进制。**
---
**1. 安装与运行方式**
| | Snap Chromium | Playwright Chromium |
|--|---------------|---------------------|
| 位置 | `/snap/chromium/3416/...` | `~/.cache/ms-playwright/chromium-1208/...` |
| 安装方式 | Ubuntu snap 包管理器 | Playwright `install` 脚本直接下载解压 |
| 运行环境 | **Snap 沙箱容器**(受限的文件系统、权限、IPC) | 普通用户进程,无额外容器层 |
| 更新 | 自动(snap 控制) | 手动(与 Playwright 版本绑定) |
---
**2. 为什么 agent-browser 在 Snap 版上卡住**
Snap 的安全模型对自动化工具很不友好:
- **文件系统隔离**:Snap Chromium 只能看到 `/home/ubuntu/snap/chromium/` 下的数据,对 `/tmp` 等路径有受限访问
- **进程间通信限制**:agent-browser 通过 Chrome DevTools Protocol (CDP) 连接 Chromium,snap 的 AppArmor 配置可能阻塞或延迟这个连接
- **无头模式问题**:snap 版在 `--headless=new` 模式下经常需要额外的 `--enable-unsafe-swiftshader` 等参数才能正常工作
- **会话残留**:snap Chromium 崩溃或卡住时,agent-browser 的 daemon 还在等待 CDP 响应,导致后续命令全部超时
**刚才的实际现象**:
```
[chrome] <defunct> ← 僵尸进程
agent-browser open ... → 超时 124
```
就是 snap Chromium 启动后 CDP 连接挂起,agent-browser 一直等不到响应。
---
**3. 为什么 Playwright 一直工作正常**
Playwright 的 Chromium 是**专门为自动化设计的**:
- 直接下载 `.zip` 解压,没有任何 snap/apparmor 沙箱层
- Playwright 自己管理启动参数、user-data-dir、CDP 端口
- 支持 `--no-sandbox` 无缝运行
- 版本经过 Playwright 团队测试,确保 CDP 协议兼容性
---
**4. 对 agent-browser 的建议**
让 agent-browser 用 Playwright 的 Chromium,而不是 snap 版:
```bash
# 方式一:每次命令指定路径
agent-browser open https://example.com \
--executable-path ~/.cache/ms-playwright/chromium-1208/chrome-linux64/chrome \
--args "--no-sandbox"
# 方式二:环境变量(推荐)
export CHROME_PATH="$HOME/.cache/ms-playwright/chromium-1208/chrome-linux64/chrome"
agent-browser open https://example.com --args "--no-sandbox"
# 方式三:让 agent-browser 自己下载 Chrome for Testing
agent-browser install
# 这会下载到 ~/.cache/agent-browser/chrome/...
```
---
**一句话总结**:Snap 是给普通用户用的浏览器,Playwright 的是给机器人用的浏览器。自动化场景下,永远优先用 Playwright 的 Chromium 或 Chrome for Testing。
---
基于文档,我的日常自动化测试工作流应该这样分层执行:
---
**一、环境准备(每次新会话只需确认一次)**
```
# 1. 检查 Playwright Chromium(优先用,避开 Snap)
ls ~/.cache/ms-playwright/chromium-*/chrome-linux*/chrome
# 2. 如需要 agent-browser,强制指定 Playwright 的 Chrome
export CHROME_PATH="$HOME/.cache/ms-playwright/chromium-1208/chrome-linux64/chrome"
# 3. 确认目标服务在运行
curl -s http://129.211.173.87:PORT/health
```
**原则**:永远不用 Snap Chromium 做自动化,它是给用户手动浏览器的,不是给机器人的。
---
**二、三级测试策略**
| 级别 | 场景 | 工具 | 耗时 |
|------|------|------|------|
| **L1 视觉验证** | "截图看看效果" | Playwright 截图 | 10-30 秒 |
| **L2 功能验证** | "点一下按钮看是否正常" | Playwright 脚本 | 1-2 分钟 |
| **L3 E2E 回归** | "跑一遍完整用户流程" | Playwright Test + 断言 | 3-5 分钟 |
---
**三、具体执行流程**
**L1:快速截图验证**
```python
# /home/ubuntu/.nanobot/workspace/tests/quick_screenshot.py
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(
executable_path="~/.cache/ms-playwright/chromium-1208/chrome-linux64/chrome",
args=["--no-sandbox"]
)
page = browser.new_page(viewport={"width": 1280, "height": 800})
page.goto("http://129.211.173.87:10002/")
page.screenshot(path="/tmp/test_result.png", full_page=True)
browser.close()
```
我执行这个脚本,截图返回给用户判断。
**L2:交互功能验证**
```python
# 验证"特色展示"眼睛按钮点击后状态变化
page.goto("http://129.211.173.87:10002/admin")
page.fill('input[name="username"]', "admin")
page.fill('input[name="password"]', "abcd1234")
page.click('button[type="submit"]')
page.wait_for_url("**/admin/dashboard")
# 进入特色展示页面
page.goto("http://129.211.173.87:10002/admin/features")
page.click('tr:first-child .eye-icon') # 点击第一个眼睛
# 验证 API 是否被调用(拦截网络)
with page.expect_response("**/api/features/**") as resp:
page.click('button:has-text("保存更改")')
assert resp.value.status == 200
```
**L3:完整 E2E 用例(Playwright Test)**
```python
# tests/test_admin_flow.spec.py
def test_feature_toggle_auto_save(page):
page.goto("/admin/login")
page.fill('[data-testid="username"]', "admin")
page.fill('[data-testid="password"]', "abcd1234")
page.click('[data-testid="login-btn"]')
expect(page).to_have_url("/admin/dashboard")
page.goto("/admin/features")
# 点击眼睛,验证立即发送 PATCH 请求
with page.expect_request("**/api/features/*/toggle") as req:
page.click("tr:first-child .toggle-btn")
assert req.value.method == "PATCH"
```
---
**四、元素定位策略(按优先级)**
文档里强调了这个,我实际执行时:
1. **首选 Accessibility 语义**(如果 agent-browser 可用)
- `role=button, name="保存更改"` — 组件重构后依然稳定
2. **次选测试专用属性**(Playwright 推荐)
- `data-testid="login-btn"` — 前端配合添加,最稳定
3. **再次选语义标签**
- `button:has-text("登录")` — 比 CSS 层级稳定
4. **兜底 CSS 选择器**
- `.nav-bar > ul > li:nth-child(3)` — 最脆弱,只在上面都不可用时用
**永远不用的定位方式**:截图像素匹配、OCR 识别坐标。那是 PyAutoGUI 的路线,不是浏览器自动化。
---
**五、和 nanobot 工作流的结合**
当用户说:
| 用户指令 | 我的执行 |
|----------|----------|
| "截图看一下首页" | L1:启动浏览器 → 访问 → 截图 → 返回图片 |
| "测试一下登录功能" | L2:写临时脚本 → 执行 → 报告结果 |
| "验证特色展示自动保存" | L2/L3:先定位元素 → 拦截网络 → 验证 API 调用 |
| "跑一遍完整测试" | L3:检查 test 目录有无 spec 文件 → 执行 `pytest` 或 `playwright test` |
脚本位置:放在 `/home/ubuntu/.nanobot/workspace/tests/` 下(不污染 ~/nanocode)。
---
**六、反检测注意事项**
如果测试的是第三方网站(如 fumamx.com):
- 设置真实 User-Agent
- 模拟真实鼠标轨迹(Playwright 默认已做)
- 适当添加 `page.wait_for_timeout(random.randint(500, 1500))` 模拟人类停顿
---
**一句话总结我的测试能力**
> 我可以用 **Playwright + CDP 协议** 控制真实 Chromium 浏览器,通过 **DOM/AX Tree 语义定位** 执行点击、填写、导航等操作,最后 **截图或断言** 验证结果。脚本放在 workspace,不污染项目代码。
蔡叔叔,这个理解对吗?需要我针对某个具体页面(比如 website-new 的访客端或后台)先跑一次 L1 截图验证看看?
---
这是一个很好的架构问题。我的判断是:
---
**1. agent-browser 能被 Playwright + CDP 替代吗?**
**底层控制:完全可以替代。** Playwright 本身就是基于 CDP 的,能力只强不弱。
| 能力 | agent-browser | Playwright |
|------|---------------|------------|
| CDP 控制 | ✓ | ✓(原生) |
| Accessibility Tree | `snapshot -i` | `page.accessibility.snapshot()` |
| 语义定位 | `@eN` refs | `get_by_role()`, `get_by_label()`, `get_by_text()` |
| 网络拦截 | ✓ | ✓(更成熟) |
| 自动等待 | ✓ | ✓(业界最强) |
| 截图对比 | ✓ | ✓ + 像素级 diff |
| 录制视频 | WebM | ✓ |
| 并行/多 context | session | browser context 隔离 |
| **AI Chat** | ✓(内置) | ✗(需自行封装) |
| **Skills 分发** | ✓(内置) | ✗(但 nanobot 有 skills 系统) |
| **稳定性** | 一般(Snap 兼容问题) | **非常好** |
agent-browser 真正的独特价值只有两点:
- **令牌优化的 AX Tree 输出**(给 LLM 看很省 token)
- **自然语言 Chat 接口**(`agent-browser chat "search google for..."`)
这两点可以用 Playwright + 一个简单的包装层来实现,不需要依赖 agent-browser 本身。
---
**2. 应该做成 skill 吗?**
**应该。** 理由:
你刚才的文档里已经沉淀了一套**完整的测试方法论**:
- 环境检查(避开 Snap Chromium)
- 三级测试策略(L1 截图 / L2 功能 / L3 E2E)
- 元素定位优先级(AX > data-testid > 语义文本 > CSS 兜底)
- 反检测注意事项
这些不是一次性的,而是**可复用的工作流知识**。做成 skill 后,任何项目都可以调用。
---
**3. 理想的 skill 设计**
不叫 `agent-browser`,叫 `browser-automation` 或 `e2e-testing`:
```
skills/browser-automation/SKILL.md
├── 环境检查(Playwright Chromium 路径、目标服务可达性)
├── L1 快速截图(一行命令生成截图)
├── L2 功能验证(拦截网络 + 断言)
├── L3 E2E 回归(Playwright Test 规范)
├── 元素定位策略(AX Tree > data-testid > text > CSS)
├── 反检测配置(真实 UA、随机延迟)
└── 常用脚本模板
```
这个 skill 底层用 **Playwright + CDP**,输出格式参考 agent-browser 的 Accessibility Tree(但自己做),不依赖 vercel-labs/agent-browser CLI。
---
**4. 结论**
> **不需要依赖 agent-browser。** Playwright + CDP 能力完全覆盖,稳定性更好。
>
> **应该做成 skill。** 把文档里沉淀的方法论标准化,以后任何项目说"测试一下",我自动按 L1/L2/L3 策略执行。
要我现在就创建这个 `browser-automation` skill 吗?基于你刚才的文档内容。
---
蔡叔叔,汇报当前进展:
---
**1. browser-automation skill 已完成 ✅**
创建了技能文件:`/home/ubuntu/.nanobot/workspace/skills/browser-automation/SKILL.md`
包含脚本:
- `test_screenshot.py` — L1 任意 URL 截图
- `test_navigate.py` — L1 基础导航验证
- `test_baidu_search.py` — L2 百度搜索(含 JS 绕过 visibility 技巧)
- `test_generic_search.py` — L2 通用搜索框架
**2. 百度测试验证通过 ✅**
之前遇到的 headless 模式下百度搜索框 visibility 为 0 的问题,已用 `page.evaluate` JS 直接操作 DOM 绕过,成功搜索并截图。
---
**3. 博客后台登录遇到障碍 ❌**
访问 `http://129.211.173.87:10002/admin/` 返回 **404 Not Found**。
检查后发现:
- 端口 10002 确实有一个 Vite dev server 在运行(PID 1857)
- 但 `~/nanocode/website-new/` 目录**已不存在**(被删除或迁移了)
- 所以后台服务没有实际部署
---
**需要你确认两点:**
1. **website-new 项目现在在哪?** 正确后台地址是什么?(之前不是 `129.211.173.87:10002` 吗?)
2. **还要继续测其他场景吗?** 比如:
- 用通用搜索框架测试 Google / DuckDuckGo
- 测试我们自己的其他项目(fumamxCRM 等)
请指示下一步 👆
---