Files
Obsidian/MyBestNanobot/Nanobot分析OpenCLI.md
T
2026-07-21 14:53:24 +08:00

438 lines
14 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
## OpenCLI 学习总结
**OpenCLI** 是一个强大的 CLI 生成器和自动化工具,可以把任何网站变成命令行接口。
### 核心能力
| 功能 | 说明 |
|------|------|
| **内置适配器** | 87+ 网站开箱即用(小红书、知乎、B站、Twitter等)|
| **浏览器自动化** | `opencli browser` 直接控制浏览器点击、输入、截图 |
| **生成新适配器** | `explore → synthesize → generate` 从真实页面推导 CLI |
| **Electron 应用控制** | 驱动 Cursor、ChatGPT、Notion 等桌面应用 |
### 小红书适配器功能
```bash
opencli xiaohongshu publish --title "标题" "正文" --images a.jpg,b.jpg --topics 生活,旅行
opencli xiaohongshu feed # 首页推荐
opencli xiaohongshu note <id> # 获取笔记详情
opencli xiaohongshu download <id> # 下载图片视频
opencli xiaohongshu search <词> # 搜索笔记
opencli xiaohongshu creator-notes # 创作者笔记列表
opencli xiaohongshu creator-stats # 创作者数据统计
```
### 技术架构
```
src/
├── main.ts # 入口:快速路径 + 完整启动
├── cli.ts # CLI 注册和命令分发
├── browser/ # CDP 浏览器控制
│ ├── cdp.ts # Chrome DevTools Protocol
│ ├── page.ts # 页面操作封装
│ └── bridge.ts # 浏览器桥接
├── registry.ts # 命令注册表
├── commanderAdapter.ts # 动态命令适配
└── discovery.ts # CLI 发现机制
clis/ # 内置适配器(87+个)
├── xiaohongshu/ # 小红书适配器
├── zhihu/ # 知乎适配器
├── bilibili/ # B站适配器
└── ...
```
### 工作原理
1. **Cookie 模式**:复用浏览器登录态,直接调用 API
2. **Browser 模式**:通过 CDP 控制真实浏览器,模拟用户操作
3. **生成模式**:`explore` 分析网站 → `synthesize` 推导接口 → `generate` 生成适配器
### 使用示例
```bash
# 快速发布小红书
opencli xiaohongshu publish --title "禅诗一首" "人人有这个..." \
--images /path/to/img.jpg --topics 禅诗,诗词
# 浏览器自动化
opencli browser --url https://example.com --click "button" --screenshot
# 生成新网站适配器
opencli generate https://new-site.com
```
---
**已安装版本**: `1.7.3`
这个项目非常强大,特别是**浏览器自动化**和**CLI 生成**功能,可以把任何 Web 操作变成可复用的命令行工具!
---
## OpenCLI Headless 配置方案
OpenCLI 支持 **CDP (Chrome DevTools Protocol)** 模式,可以在无 GUI 服务器上运行。有三种方案:
### 方案一:本地 Chrome + SSH 隧道(推荐)
**在你的本地机器(Mac/PC)上:**
```bash
# 启动 Chrome 并开启远程调试
google-chrome \
--remote-debugging-port=9222 \
--user-data-dir="$HOME/chrome-debug-profile" \
--remote-allow-origins="*"
# 登录小红书/知乎等网站
```
**在服务器上建立反向 SSH 隧道:**
```bash
# 从服务器连接到本地机器,转发端口
ssh -R 9222:localhost:9222 your-local-machine
# 设置环境变量
export OPENCLI_CDP_ENDPOINT="http://localhost:9222"
# 验证连接
opencli doctor
# 使用
opencli xiaohongshu feed
```
---
### 方案二:服务器直接运行 Headless Chrome(CI/CD 模式)
```bash
# 安装 Chrome 和 xvfb
sudo apt-get install -y google-chrome-stable xvfb
# 使用 xvfb-run 运行 Chrome(虚拟显示)
xvfb-run --auto-servernum \
google-chrome \
--remote-debugging-port=9222 \
--no-sandbox \
--disable-dev-shm-usage \
--disable-gpu \
--headless=new &
# 设置环境变量
export OPENCLI_CDP_ENDPOINT="http://127.0.0.1:9222"
# 运行
opencli xiaohongshu publish --title "测试" "内容" --images a.jpg
```
---
### 方案三:Docker 运行 Chrome
```bash
# 运行 headless Chrome 容器
docker run -d \
--name chrome-headless \
-p 9222:9222 \
--cap-add=SYS_ADMIN \
chromedp/headless-shell:latest \
--remote-debugging-address=0.0.0.0 \
--remote-debugging-port=9222
# 设置环境变量
export OPENCLI_CDP_ENDPOINT="http://localhost:9222"
```
---
### 关键环境变量
| 变量 | 说明 | 示例 |
|------|------|------|
| `OPENCLI_CDP_ENDPOINT` | CDP 端点地址 | `http://127.0.0.1:9222` |
| `OPENCLI_CDP_TARGET` | 选择特定目标 | `xiaohongshu`, `bilibili` |
| `OPENCLI_BROWSER_CONNECT_TIMEOUT` | 连接超时(秒) | `30` |
| `OPENCLI_BROWSER_COMMAND_TIMEOUT` | 命令超时(秒) | `60` |
---
### 架构对比
```
┌─────────────────────────────────────────────────────────┐
│ 方案一: 本地 Chrome + SSH 隧道 │
│ ┌──────────┐ SSH ┌──────────────┐ │
│ │本地Chrome│◄─────────────│ 远程服务器 │ │
│ │:9222 │ -R 9222 │ opencli命令 │ │
│ └──────────┘ └──────────────┘ │
└─────────────────────────────────────────────────────────┘
┌─────────────────────────────────────────────────────────┐
│ 方案二: 服务器 Headless Chrome │
│ ┌─────────────────────────────────────────────┐ │
│ │ 服务器 │ │
│ │ ┌─────────────┐ ┌─────────────────────┐ │ │
│ │ │ xvfb-run │───►│ google-chrome │ │ │
│ │ │ (虚拟显示) │ │ --remote-debugging │ │ │
│ │ └─────────────┘ └─────────────────────┘ │ │
│ │ :9222 │ │
│ │ ▲ │ │
│ │ │ │ │
│ │ ┌───────────────────────┘ │ │
│ │ │ opencli (CDPBridge连接) │ │
│ │ └──────────────────────────────────────────┘ │
│ └─────────────────────────────────────────────┘ │
└─────────────────────────────────────────────────────────┘
```
**推荐方案一**:因为小红书等网站需要登录状态,本地 Chrome 可以保持登录,服务器通过隧道复用。
---
## 是的!**提供 Cookie 就能生成新适配器**
OpenCLI 的 `explore → synthesize → generate` 流程可以自动分析网站并生成 CLI 适配器:
### 工作流程
```
┌─────────────┐ ┌─────────────┐ ┌─────────────┐
│ explore │ ──► │ synthesize │ ──► │ generate │
│ 深度探索 │ │ 合成 CLI │ │ 生成代码 │
└─────────────┘ └─────────────┘ └─────────────┘
```
### 具体步骤
**1. Explore(探索)- 自动发现 API**
```bash
opencli explore https://example.com \
--site mysite \
--wait-seconds 5
```
OpenCLI 会:
- 启动浏览器访问页面
- **自动滚动**触发懒加载
- **捕获所有网络请求** (XHR/Fetch)
- **分析 JSON 响应**结构
- 识别认证方式 (Cookie/Token)
- 检测前端框架 (React/Vue/Angular)
输出:`~/.opencli/explore/mysite_20240414_xxxx/` 包含:
- `manifest.json` - 站点元数据
- `endpoints.json` - 发现的所有 API 端点
- `capabilities.json` - 推断的功能列表
---
**2. Synthesize(合成)- 生成 CLI 候选**
```bash
opencli synthesize mysite
```
根据探索结果生成 **YAML 格式的 CLI 定义**:
- 推荐命令名称 (`search`, `hot`, `feed`, `detail`...)
- 参数映射 (`--limit`, `--keyword`, `--page`)
- 输出列定义
- 执行管道 (navigate → wait → evaluate → map)
输出:`candidates/search.yaml`
```yaml
site: mysite
name: search
description: Search content on mysite
strategy: cookie
browser: false
args:
keyword:
type: string
required: true
description: Search keyword
limit:
type: number
required: false
default: 10
pipeline:
- fetch:
url: "https://api.example.com/search?q={{keyword}}&limit={{limit}}"
- map:
title: "data.items[*].title"
url: "data.items[*].link"
```
---
**3. Generate(生成)- 一键创建**
```bash
# 全自动:explore → synthesize → verify → register
opencli generate https://example.com --goal search
```
或直接:
```bash
opencli generate https://example.com \
--site mysite \
--wait-seconds 5 \
--top 3
```
---
### 实际例子:给小红书生成新命令
假设小红书有个新功能 "创作者数据中心" 没有现成适配器:
```bash
# 1. 探索创作者中心页面(携带 Cookie)
export OPENCLI_CDP_ENDPOINT="http://localhost:9222"
opencli explore https://creator.xiaohongshu.com/statistics \
--site xiaohongshu-creator \
--wait-seconds 10
# 2. 合成候选命令
opencli synthesize xiaohongshu-creator
# 3. 查看生成的候选
ls ~/.opencli/explore/xiaohongshu-creator_*/candidates/
# 4. 验证并注册
opencli verify xiaohongshu-creator/candidates/stats.yaml
opencli register xiaohongshu-creator/candidates/stats.yaml
# 5. 使用!
opencli xiaohongshu-creator stats --start-date 2024-04-01
```
---
### Cookie 的作用
| 模式 | 是否需要 Cookie | 说明 |
|------|----------------|------|
| **API 模式** | ✅ 需要 | 直接调用后端 API,需认证头/Cookie |
| **Browser 模式** | ✅ 需要 | 控制真实浏览器,需登录态 |
| **Store 模式** | 可选 | 从 Pinia/Vuex 读取,有时无需认证 |
---
### 关键技术点
**explore 阶段捕获的数据:**
```javascript
// 网络请求拦截
{
url: "https://edith.xiaohongshu.com/api/sns/web/v1/search/notes",
method: "POST",
headers: {
"Cookie": "web_session=xxx...",
"X-Sign": "xxx" // 签名算法也被记录
},
requestBody: { keyword: "xxx", page: 1 },
responseBody: { data: { items: [...] } }
}
```
**自动推断:**
- `keyword` → `--keyword` 参数
- `page` → `--page` 参数(带默认值 1)
- `items` 数组 → 输出表格的行
- `data.items[*].title` → `title` 列
---
### 总结
> **你给我一个网站 + Cookie,我就能自动生成 CLI 适配器**
不需要手写代码,OpenCLI 通过**真实浏览器行为分析**自动推导:
- API 端点
- 参数映射
- 认证方式
- 数据提取路径
这是它的核心创新点:**从真实交互中"学习"网站 API,而非阅读文档**。
---
我更新了小红书的cookie,在 /home/ubuntu/xiaohongshu_cookies.txt
你根据这个cookie,实现一个我们自己的 my_iaohongshu_cli
在我们的git仓库 /home/ubuntu/nanocode目录下创建一个目录my_iaohongshu_cli,来实现这个cli
现在我完全理清了!让我给你完整梳理:
---
## 📊 小红书发布方式现状
### **CLI 工具**(实际可执行命令)
| 工具 | 路径/来源 | 状态 | 说明 |
|------|----------|------|------|
| **`xhs`** | `uv tool install xiaohongshu-cli` | ✅ **在用** | 原版 v0.6.4,从浏览器提取 Cookie |
| **`myxhs`** | `/home/ubuntu/nanocode/my_xiaohongshu_cli/` | ✅ **在用** | 我刚开发的,用本地 Cookie 文件 |
| `opencli xiaohongshu` | npm @jackwener/opencli | ❌ **已弃用** | 无适配器 (clis 目录为空) |
---
### **Skills**(nanobot 的指导文件)
| Skill | 用途 | 调用的工具 |
|-------|------|-----------|
| `xiaohongshu-cli` | 指导使用 `xhs` 命令 | → 调用 `xhs` |
| `xiaohongshu-poster` | 指导生成图文+发布 | → 调用 `xhs post` |
| `xiaohongshu-converter` | 内容转换 | ? |
| `xiaohongshu_integration` | 集成相关 | ? |
| `opencli-integration` | 指导使用 opencli | → **已无用** |
---
### **关键结论**
1. **`myxhs` 是工具,不是 Skill**
- 它只是 `/home/ubuntu/.local/bin/myxhs` 这个 CLI 命令
- 还没有对应的 Skill 文件来指导我使用它
2. **实际上只有 2 个有效的 CLI 工具**
- `xhs` - 原版,自动从浏览器取 Cookie
- `myxhs` - 我开发的,读本地文件 `/home/ubuntu/xiaohongshu_cookies.txt`
3. **OpenCLI 已废弃**
- `.openclaw/` 目录已删(之前清理过)
- `~/.opencli/clis/` 是空的,没有小红书适配器
- `opencli-integration` 这个 Skill 应该删除
4. **GitHub 仓库关系**
- `jackwener/xhs-cli` 和 `jackwener/xiaohongshu-cli` 是**同一个项目**
- PyPI 包名是 `xiaohongshu-cli`,安装后是 `xhs` 命令
---
### **建议**
要不要我:
1. 创建一个 `my-xiaohongshu-cli` 的 Skill 文件,指导我使用 `myxhs`?
2. 删除废弃的 `opencli-integration` Skill?
3. 或者统一只用 `xhs`,不再维护 `myxhs`?
4.