339 lines
11 KiB
Markdown
339 lines
11 KiB
Markdown
**核心差异:Snap 是一个容器/沙箱,Playwright 的是裸二进制。**
|
||
|
||
---
|
||
|
||
**1. 安装与运行方式**
|
||
|
||
| | Snap Chromium | Playwright Chromium |
|
||
|--|---------------|---------------------|
|
||
| 位置 | `/snap/chromium/3416/...` | `~/.cache/ms-playwright/chromium-1208/...` |
|
||
| 安装方式 | Ubuntu snap 包管理器 | Playwright `install` 脚本直接下载解压 |
|
||
| 运行环境 | **Snap 沙箱容器**(受限的文件系统、权限、IPC) | 普通用户进程,无额外容器层 |
|
||
| 更新 | 自动(snap 控制) | 手动(与 Playwright 版本绑定) |
|
||
|
||
---
|
||
|
||
**2. 为什么 agent-browser 在 Snap 版上卡住**
|
||
|
||
Snap 的安全模型对自动化工具很不友好:
|
||
|
||
- **文件系统隔离**:Snap Chromium 只能看到 `/home/ubuntu/snap/chromium/` 下的数据,对 `/tmp` 等路径有受限访问
|
||
- **进程间通信限制**:agent-browser 通过 Chrome DevTools Protocol (CDP) 连接 Chromium,snap 的 AppArmor 配置可能阻塞或延迟这个连接
|
||
- **无头模式问题**:snap 版在 `--headless=new` 模式下经常需要额外的 `--enable-unsafe-swiftshader` 等参数才能正常工作
|
||
- **会话残留**:snap Chromium 崩溃或卡住时,agent-browser 的 daemon 还在等待 CDP 响应,导致后续命令全部超时
|
||
|
||
**刚才的实际现象**:
|
||
```
|
||
[chrome] <defunct> ← 僵尸进程
|
||
agent-browser open ... → 超时 124
|
||
```
|
||
就是 snap Chromium 启动后 CDP 连接挂起,agent-browser 一直等不到响应。
|
||
|
||
---
|
||
|
||
**3. 为什么 Playwright 一直工作正常**
|
||
|
||
Playwright 的 Chromium 是**专门为自动化设计的**:
|
||
- 直接下载 `.zip` 解压,没有任何 snap/apparmor 沙箱层
|
||
- Playwright 自己管理启动参数、user-data-dir、CDP 端口
|
||
- 支持 `--no-sandbox` 无缝运行
|
||
- 版本经过 Playwright 团队测试,确保 CDP 协议兼容性
|
||
|
||
---
|
||
|
||
**4. 对 agent-browser 的建议**
|
||
|
||
让 agent-browser 用 Playwright 的 Chromium,而不是 snap 版:
|
||
|
||
```bash
|
||
# 方式一:每次命令指定路径
|
||
agent-browser open https://example.com \
|
||
--executable-path ~/.cache/ms-playwright/chromium-1208/chrome-linux64/chrome \
|
||
--args "--no-sandbox"
|
||
|
||
# 方式二:环境变量(推荐)
|
||
export CHROME_PATH="$HOME/.cache/ms-playwright/chromium-1208/chrome-linux64/chrome"
|
||
agent-browser open https://example.com --args "--no-sandbox"
|
||
|
||
# 方式三:让 agent-browser 自己下载 Chrome for Testing
|
||
agent-browser install
|
||
# 这会下载到 ~/.cache/agent-browser/chrome/...
|
||
```
|
||
|
||
---
|
||
|
||
**一句话总结**:Snap 是给普通用户用的浏览器,Playwright 的是给机器人用的浏览器。自动化场景下,永远优先用 Playwright 的 Chromium 或 Chrome for Testing。
|
||
|
||
---
|
||
|
||
|
||
|
||
基于文档,我的日常自动化测试工作流应该这样分层执行:
|
||
|
||
---
|
||
|
||
**一、环境准备(每次新会话只需确认一次)**
|
||
|
||
```
|
||
# 1. 检查 Playwright Chromium(优先用,避开 Snap)
|
||
ls ~/.cache/ms-playwright/chromium-*/chrome-linux*/chrome
|
||
|
||
# 2. 如需要 agent-browser,强制指定 Playwright 的 Chrome
|
||
export CHROME_PATH="$HOME/.cache/ms-playwright/chromium-1208/chrome-linux64/chrome"
|
||
|
||
# 3. 确认目标服务在运行
|
||
curl -s http://129.211.173.87:PORT/health
|
||
```
|
||
|
||
**原则**:永远不用 Snap Chromium 做自动化,它是给用户手动浏览器的,不是给机器人的。
|
||
|
||
---
|
||
|
||
**二、三级测试策略**
|
||
|
||
| 级别 | 场景 | 工具 | 耗时 |
|
||
|------|------|------|------|
|
||
| **L1 视觉验证** | "截图看看效果" | Playwright 截图 | 10-30 秒 |
|
||
| **L2 功能验证** | "点一下按钮看是否正常" | Playwright 脚本 | 1-2 分钟 |
|
||
| **L3 E2E 回归** | "跑一遍完整用户流程" | Playwright Test + 断言 | 3-5 分钟 |
|
||
|
||
---
|
||
|
||
**三、具体执行流程**
|
||
|
||
**L1:快速截图验证**
|
||
|
||
```python
|
||
# /home/ubuntu/.nanobot/workspace/tests/quick_screenshot.py
|
||
from playwright.sync_api import sync_playwright
|
||
|
||
with sync_playwright() as p:
|
||
browser = p.chromium.launch(
|
||
executable_path="~/.cache/ms-playwright/chromium-1208/chrome-linux64/chrome",
|
||
args=["--no-sandbox"]
|
||
)
|
||
page = browser.new_page(viewport={"width": 1280, "height": 800})
|
||
page.goto("http://129.211.173.87:10002/")
|
||
page.screenshot(path="/tmp/test_result.png", full_page=True)
|
||
browser.close()
|
||
```
|
||
|
||
我执行这个脚本,截图返回给用户判断。
|
||
|
||
**L2:交互功能验证**
|
||
|
||
```python
|
||
# 验证"特色展示"眼睛按钮点击后状态变化
|
||
page.goto("http://129.211.173.87:10002/admin")
|
||
page.fill('input[name="username"]', "admin")
|
||
page.fill('input[name="password"]', "abcd1234")
|
||
page.click('button[type="submit"]')
|
||
page.wait_for_url("**/admin/dashboard")
|
||
|
||
# 进入特色展示页面
|
||
page.goto("http://129.211.173.87:10002/admin/features")
|
||
page.click('tr:first-child .eye-icon') # 点击第一个眼睛
|
||
|
||
# 验证 API 是否被调用(拦截网络)
|
||
with page.expect_response("**/api/features/**") as resp:
|
||
page.click('button:has-text("保存更改")')
|
||
assert resp.value.status == 200
|
||
```
|
||
|
||
**L3:完整 E2E 用例(Playwright Test)**
|
||
|
||
```python
|
||
# tests/test_admin_flow.spec.py
|
||
def test_feature_toggle_auto_save(page):
|
||
page.goto("/admin/login")
|
||
page.fill('[data-testid="username"]', "admin")
|
||
page.fill('[data-testid="password"]', "abcd1234")
|
||
page.click('[data-testid="login-btn"]')
|
||
expect(page).to_have_url("/admin/dashboard")
|
||
|
||
page.goto("/admin/features")
|
||
# 点击眼睛,验证立即发送 PATCH 请求
|
||
with page.expect_request("**/api/features/*/toggle") as req:
|
||
page.click("tr:first-child .toggle-btn")
|
||
assert req.value.method == "PATCH"
|
||
```
|
||
|
||
---
|
||
|
||
**四、元素定位策略(按优先级)**
|
||
|
||
文档里强调了这个,我实际执行时:
|
||
|
||
1. **首选 Accessibility 语义**(如果 agent-browser 可用)
|
||
- `role=button, name="保存更改"` — 组件重构后依然稳定
|
||
|
||
2. **次选测试专用属性**(Playwright 推荐)
|
||
- `data-testid="login-btn"` — 前端配合添加,最稳定
|
||
|
||
3. **再次选语义标签**
|
||
- `button:has-text("登录")` — 比 CSS 层级稳定
|
||
|
||
4. **兜底 CSS 选择器**
|
||
- `.nav-bar > ul > li:nth-child(3)` — 最脆弱,只在上面都不可用时用
|
||
|
||
**永远不用的定位方式**:截图像素匹配、OCR 识别坐标。那是 PyAutoGUI 的路线,不是浏览器自动化。
|
||
|
||
---
|
||
|
||
**五、和 nanobot 工作流的结合**
|
||
|
||
当用户说:
|
||
|
||
| 用户指令 | 我的执行 |
|
||
|----------|----------|
|
||
| "截图看一下首页" | L1:启动浏览器 → 访问 → 截图 → 返回图片 |
|
||
| "测试一下登录功能" | L2:写临时脚本 → 执行 → 报告结果 |
|
||
| "验证特色展示自动保存" | L2/L3:先定位元素 → 拦截网络 → 验证 API 调用 |
|
||
| "跑一遍完整测试" | L3:检查 test 目录有无 spec 文件 → 执行 `pytest` 或 `playwright test` |
|
||
|
||
脚本位置:放在 `/home/ubuntu/.nanobot/workspace/tests/` 下(不污染 ~/nanocode)。
|
||
|
||
---
|
||
|
||
**六、反检测注意事项**
|
||
|
||
如果测试的是第三方网站(如 fumamx.com):
|
||
- 设置真实 User-Agent
|
||
- 模拟真实鼠标轨迹(Playwright 默认已做)
|
||
- 适当添加 `page.wait_for_timeout(random.randint(500, 1500))` 模拟人类停顿
|
||
|
||
---
|
||
|
||
**一句话总结我的测试能力**
|
||
|
||
> 我可以用 **Playwright + CDP 协议** 控制真实 Chromium 浏览器,通过 **DOM/AX Tree 语义定位** 执行点击、填写、导航等操作,最后 **截图或断言** 验证结果。脚本放在 workspace,不污染项目代码。
|
||
|
||
蔡叔叔,这个理解对吗?需要我针对某个具体页面(比如 website-new 的访客端或后台)先跑一次 L1 截图验证看看?
|
||
|
||
|
||
---
|
||
|
||
|
||
这是一个很好的架构问题。我的判断是:
|
||
|
||
---
|
||
|
||
**1. agent-browser 能被 Playwright + CDP 替代吗?**
|
||
|
||
**底层控制:完全可以替代。** Playwright 本身就是基于 CDP 的,能力只强不弱。
|
||
|
||
| 能力 | agent-browser | Playwright |
|
||
|------|---------------|------------|
|
||
| CDP 控制 | ✓ | ✓(原生) |
|
||
| Accessibility Tree | `snapshot -i` | `page.accessibility.snapshot()` |
|
||
| 语义定位 | `@eN` refs | `get_by_role()`, `get_by_label()`, `get_by_text()` |
|
||
| 网络拦截 | ✓ | ✓(更成熟) |
|
||
| 自动等待 | ✓ | ✓(业界最强) |
|
||
| 截图对比 | ✓ | ✓ + 像素级 diff |
|
||
| 录制视频 | WebM | ✓ |
|
||
| 并行/多 context | session | browser context 隔离 |
|
||
| **AI Chat** | ✓(内置) | ✗(需自行封装) |
|
||
| **Skills 分发** | ✓(内置) | ✗(但 nanobot 有 skills 系统) |
|
||
| **稳定性** | 一般(Snap 兼容问题) | **非常好** |
|
||
|
||
agent-browser 真正的独特价值只有两点:
|
||
- **令牌优化的 AX Tree 输出**(给 LLM 看很省 token)
|
||
- **自然语言 Chat 接口**(`agent-browser chat "search google for..."`)
|
||
|
||
这两点可以用 Playwright + 一个简单的包装层来实现,不需要依赖 agent-browser 本身。
|
||
|
||
---
|
||
|
||
**2. 应该做成 skill 吗?**
|
||
|
||
**应该。** 理由:
|
||
|
||
你刚才的文档里已经沉淀了一套**完整的测试方法论**:
|
||
- 环境检查(避开 Snap Chromium)
|
||
- 三级测试策略(L1 截图 / L2 功能 / L3 E2E)
|
||
- 元素定位优先级(AX > data-testid > 语义文本 > CSS 兜底)
|
||
- 反检测注意事项
|
||
|
||
这些不是一次性的,而是**可复用的工作流知识**。做成 skill 后,任何项目都可以调用。
|
||
|
||
---
|
||
|
||
**3. 理想的 skill 设计**
|
||
|
||
不叫 `agent-browser`,叫 `browser-automation` 或 `e2e-testing`:
|
||
|
||
```
|
||
skills/browser-automation/SKILL.md
|
||
├── 环境检查(Playwright Chromium 路径、目标服务可达性)
|
||
├── L1 快速截图(一行命令生成截图)
|
||
├── L2 功能验证(拦截网络 + 断言)
|
||
├── L3 E2E 回归(Playwright Test 规范)
|
||
├── 元素定位策略(AX Tree > data-testid > text > CSS)
|
||
├── 反检测配置(真实 UA、随机延迟)
|
||
└── 常用脚本模板
|
||
```
|
||
|
||
这个 skill 底层用 **Playwright + CDP**,输出格式参考 agent-browser 的 Accessibility Tree(但自己做),不依赖 vercel-labs/agent-browser CLI。
|
||
|
||
---
|
||
|
||
**4. 结论**
|
||
|
||
> **不需要依赖 agent-browser。** Playwright + CDP 能力完全覆盖,稳定性更好。
|
||
>
|
||
> **应该做成 skill。** 把文档里沉淀的方法论标准化,以后任何项目说"测试一下",我自动按 L1/L2/L3 策略执行。
|
||
|
||
要我现在就创建这个 `browser-automation` skill 吗?基于你刚才的文档内容。
|
||
|
||
|
||
|
||
---
|
||
|
||
|
||
|
||
蔡叔叔,汇报当前进展:
|
||
|
||
---
|
||
|
||
**1. browser-automation skill 已完成 ✅**
|
||
|
||
创建了技能文件:`/home/ubuntu/.nanobot/workspace/skills/browser-automation/SKILL.md`
|
||
|
||
包含脚本:
|
||
- `test_screenshot.py` — L1 任意 URL 截图
|
||
- `test_navigate.py` — L1 基础导航验证
|
||
- `test_baidu_search.py` — L2 百度搜索(含 JS 绕过 visibility 技巧)
|
||
- `test_generic_search.py` — L2 通用搜索框架
|
||
|
||
**2. 百度测试验证通过 ✅**
|
||
|
||
之前遇到的 headless 模式下百度搜索框 visibility 为 0 的问题,已用 `page.evaluate` JS 直接操作 DOM 绕过,成功搜索并截图。
|
||
|
||
---
|
||
|
||
**3. 博客后台登录遇到障碍 ❌**
|
||
|
||
访问 `http://129.211.173.87:10002/admin/` 返回 **404 Not Found**。
|
||
|
||
检查后发现:
|
||
- 端口 10002 确实有一个 Vite dev server 在运行(PID 1857)
|
||
- 但 `~/nanocode/website-new/` 目录**已不存在**(被删除或迁移了)
|
||
- 所以后台服务没有实际部署
|
||
|
||
---
|
||
|
||
**需要你确认两点:**
|
||
|
||
1. **website-new 项目现在在哪?** 正确后台地址是什么?(之前不是 `129.211.173.87:10002` 吗?)
|
||
2. **还要继续测其他场景吗?** 比如:
|
||
- 用通用搜索框架测试 Google / DuckDuckGo
|
||
- 测试我们自己的其他项目(fumamxCRM 等)
|
||
|
||
请指示下一步 👆
|
||
|
||
|
||
|
||
---
|
||
|
||
|