时地方
This commit is contained in:
@@ -0,0 +1,438 @@
|
||||
## OpenCLI 学习总结
|
||||
|
||||
**OpenCLI** 是一个强大的 CLI 生成器和自动化工具,可以把任何网站变成命令行接口。
|
||||
|
||||
### 核心能力
|
||||
|
||||
| 功能 | 说明 |
|
||||
|------|------|
|
||||
| **内置适配器** | 87+ 网站开箱即用(小红书、知乎、B站、Twitter等)|
|
||||
| **浏览器自动化** | `opencli browser` 直接控制浏览器点击、输入、截图 |
|
||||
| **生成新适配器** | `explore → synthesize → generate` 从真实页面推导 CLI |
|
||||
| **Electron 应用控制** | 驱动 Cursor、ChatGPT、Notion 等桌面应用 |
|
||||
|
||||
### 小红书适配器功能
|
||||
|
||||
```bash
|
||||
opencli xiaohongshu publish --title "标题" "正文" --images a.jpg,b.jpg --topics 生活,旅行
|
||||
opencli xiaohongshu feed # 首页推荐
|
||||
opencli xiaohongshu note <id> # 获取笔记详情
|
||||
opencli xiaohongshu download <id> # 下载图片视频
|
||||
opencli xiaohongshu search <词> # 搜索笔记
|
||||
opencli xiaohongshu creator-notes # 创作者笔记列表
|
||||
opencli xiaohongshu creator-stats # 创作者数据统计
|
||||
```
|
||||
|
||||
### 技术架构
|
||||
|
||||
```
|
||||
src/
|
||||
├── main.ts # 入口:快速路径 + 完整启动
|
||||
├── cli.ts # CLI 注册和命令分发
|
||||
├── browser/ # CDP 浏览器控制
|
||||
│ ├── cdp.ts # Chrome DevTools Protocol
|
||||
│ ├── page.ts # 页面操作封装
|
||||
│ └── bridge.ts # 浏览器桥接
|
||||
├── registry.ts # 命令注册表
|
||||
├── commanderAdapter.ts # 动态命令适配
|
||||
└── discovery.ts # CLI 发现机制
|
||||
|
||||
clis/ # 内置适配器(87+个)
|
||||
├── xiaohongshu/ # 小红书适配器
|
||||
├── zhihu/ # 知乎适配器
|
||||
├── bilibili/ # B站适配器
|
||||
└── ...
|
||||
```
|
||||
|
||||
### 工作原理
|
||||
|
||||
1. **Cookie 模式**:复用浏览器登录态,直接调用 API
|
||||
2. **Browser 模式**:通过 CDP 控制真实浏览器,模拟用户操作
|
||||
3. **生成模式**:`explore` 分析网站 → `synthesize` 推导接口 → `generate` 生成适配器
|
||||
|
||||
### 使用示例
|
||||
|
||||
```bash
|
||||
# 快速发布小红书
|
||||
opencli xiaohongshu publish --title "禅诗一首" "人人有这个..." \
|
||||
--images /path/to/img.jpg --topics 禅诗,诗词
|
||||
|
||||
# 浏览器自动化
|
||||
opencli browser --url https://example.com --click "button" --screenshot
|
||||
|
||||
# 生成新网站适配器
|
||||
opencli generate https://new-site.com
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
**已安装版本**: `1.7.3`
|
||||
|
||||
这个项目非常强大,特别是**浏览器自动化**和**CLI 生成**功能,可以把任何 Web 操作变成可复用的命令行工具!
|
||||
|
||||
---
|
||||
|
||||
|
||||
|
||||
## OpenCLI Headless 配置方案
|
||||
|
||||
OpenCLI 支持 **CDP (Chrome DevTools Protocol)** 模式,可以在无 GUI 服务器上运行。有三种方案:
|
||||
|
||||
### 方案一:本地 Chrome + SSH 隧道(推荐)
|
||||
|
||||
**在你的本地机器(Mac/PC)上:**
|
||||
|
||||
```bash
|
||||
# 启动 Chrome 并开启远程调试
|
||||
google-chrome \
|
||||
--remote-debugging-port=9222 \
|
||||
--user-data-dir="$HOME/chrome-debug-profile" \
|
||||
--remote-allow-origins="*"
|
||||
|
||||
# 登录小红书/知乎等网站
|
||||
```
|
||||
|
||||
**在服务器上建立反向 SSH 隧道:**
|
||||
|
||||
```bash
|
||||
# 从服务器连接到本地机器,转发端口
|
||||
ssh -R 9222:localhost:9222 your-local-machine
|
||||
|
||||
# 设置环境变量
|
||||
export OPENCLI_CDP_ENDPOINT="http://localhost:9222"
|
||||
|
||||
# 验证连接
|
||||
opencli doctor
|
||||
|
||||
# 使用
|
||||
opencli xiaohongshu feed
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
### 方案二:服务器直接运行 Headless Chrome(CI/CD 模式)
|
||||
|
||||
```bash
|
||||
# 安装 Chrome 和 xvfb
|
||||
sudo apt-get install -y google-chrome-stable xvfb
|
||||
|
||||
# 使用 xvfb-run 运行 Chrome(虚拟显示)
|
||||
xvfb-run --auto-servernum \
|
||||
google-chrome \
|
||||
--remote-debugging-port=9222 \
|
||||
--no-sandbox \
|
||||
--disable-dev-shm-usage \
|
||||
--disable-gpu \
|
||||
--headless=new &
|
||||
|
||||
# 设置环境变量
|
||||
export OPENCLI_CDP_ENDPOINT="http://127.0.0.1:9222"
|
||||
|
||||
# 运行
|
||||
opencli xiaohongshu publish --title "测试" "内容" --images a.jpg
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
### 方案三:Docker 运行 Chrome
|
||||
|
||||
```bash
|
||||
# 运行 headless Chrome 容器
|
||||
docker run -d \
|
||||
--name chrome-headless \
|
||||
-p 9222:9222 \
|
||||
--cap-add=SYS_ADMIN \
|
||||
chromedp/headless-shell:latest \
|
||||
--remote-debugging-address=0.0.0.0 \
|
||||
--remote-debugging-port=9222
|
||||
|
||||
# 设置环境变量
|
||||
export OPENCLI_CDP_ENDPOINT="http://localhost:9222"
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
### 关键环境变量
|
||||
|
||||
| 变量 | 说明 | 示例 |
|
||||
|------|------|------|
|
||||
| `OPENCLI_CDP_ENDPOINT` | CDP 端点地址 | `http://127.0.0.1:9222` |
|
||||
| `OPENCLI_CDP_TARGET` | 选择特定目标 | `xiaohongshu`, `bilibili` |
|
||||
| `OPENCLI_BROWSER_CONNECT_TIMEOUT` | 连接超时(秒) | `30` |
|
||||
| `OPENCLI_BROWSER_COMMAND_TIMEOUT` | 命令超时(秒) | `60` |
|
||||
|
||||
---
|
||||
|
||||
### 架构对比
|
||||
|
||||
```
|
||||
┌─────────────────────────────────────────────────────────┐
|
||||
│ 方案一: 本地 Chrome + SSH 隧道 │
|
||||
│ ┌──────────┐ SSH ┌──────────────┐ │
|
||||
│ │本地Chrome│◄─────────────│ 远程服务器 │ │
|
||||
│ │:9222 │ -R 9222 │ opencli命令 │ │
|
||||
│ └──────────┘ └──────────────┘ │
|
||||
└─────────────────────────────────────────────────────────┘
|
||||
|
||||
┌─────────────────────────────────────────────────────────┐
|
||||
│ 方案二: 服务器 Headless Chrome │
|
||||
│ ┌─────────────────────────────────────────────┐ │
|
||||
│ │ 服务器 │ │
|
||||
│ │ ┌─────────────┐ ┌─────────────────────┐ │ │
|
||||
│ │ │ xvfb-run │───►│ google-chrome │ │ │
|
||||
│ │ │ (虚拟显示) │ │ --remote-debugging │ │ │
|
||||
│ │ └─────────────┘ └─────────────────────┘ │ │
|
||||
│ │ :9222 │ │
|
||||
│ │ ▲ │ │
|
||||
│ │ │ │ │
|
||||
│ │ ┌───────────────────────┘ │ │
|
||||
│ │ │ opencli (CDPBridge连接) │ │
|
||||
│ │ └──────────────────────────────────────────┘ │
|
||||
│ └─────────────────────────────────────────────┘ │
|
||||
└─────────────────────────────────────────────────────────┘
|
||||
```
|
||||
|
||||
**推荐方案一**:因为小红书等网站需要登录状态,本地 Chrome 可以保持登录,服务器通过隧道复用。
|
||||
|
||||
|
||||
|
||||
---
|
||||
|
||||
|
||||
## 是的!**提供 Cookie 就能生成新适配器**
|
||||
|
||||
OpenCLI 的 `explore → synthesize → generate` 流程可以自动分析网站并生成 CLI 适配器:
|
||||
|
||||
### 工作流程
|
||||
|
||||
```
|
||||
┌─────────────┐ ┌─────────────┐ ┌─────────────┐
|
||||
│ explore │ ──► │ synthesize │ ──► │ generate │
|
||||
│ 深度探索 │ │ 合成 CLI │ │ 生成代码 │
|
||||
└─────────────┘ └─────────────┘ └─────────────┘
|
||||
```
|
||||
|
||||
### 具体步骤
|
||||
|
||||
**1. Explore(探索)- 自动发现 API**
|
||||
|
||||
```bash
|
||||
opencli explore https://example.com \
|
||||
--site mysite \
|
||||
--wait-seconds 5
|
||||
```
|
||||
|
||||
OpenCLI 会:
|
||||
- 启动浏览器访问页面
|
||||
- **自动滚动**触发懒加载
|
||||
- **捕获所有网络请求** (XHR/Fetch)
|
||||
- **分析 JSON 响应**结构
|
||||
- 识别认证方式 (Cookie/Token)
|
||||
- 检测前端框架 (React/Vue/Angular)
|
||||
|
||||
输出:`~/.opencli/explore/mysite_20240414_xxxx/` 包含:
|
||||
- `manifest.json` - 站点元数据
|
||||
- `endpoints.json` - 发现的所有 API 端点
|
||||
- `capabilities.json` - 推断的功能列表
|
||||
|
||||
---
|
||||
|
||||
**2. Synthesize(合成)- 生成 CLI 候选**
|
||||
|
||||
```bash
|
||||
opencli synthesize mysite
|
||||
```
|
||||
|
||||
根据探索结果生成 **YAML 格式的 CLI 定义**:
|
||||
- 推荐命令名称 (`search`, `hot`, `feed`, `detail`...)
|
||||
- 参数映射 (`--limit`, `--keyword`, `--page`)
|
||||
- 输出列定义
|
||||
- 执行管道 (navigate → wait → evaluate → map)
|
||||
|
||||
输出:`candidates/search.yaml`
|
||||
|
||||
```yaml
|
||||
site: mysite
|
||||
name: search
|
||||
description: Search content on mysite
|
||||
strategy: cookie
|
||||
browser: false
|
||||
args:
|
||||
keyword:
|
||||
type: string
|
||||
required: true
|
||||
description: Search keyword
|
||||
limit:
|
||||
type: number
|
||||
required: false
|
||||
default: 10
|
||||
pipeline:
|
||||
- fetch:
|
||||
url: "https://api.example.com/search?q={{keyword}}&limit={{limit}}"
|
||||
- map:
|
||||
title: "data.items[*].title"
|
||||
url: "data.items[*].link"
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
**3. Generate(生成)- 一键创建**
|
||||
|
||||
```bash
|
||||
# 全自动:explore → synthesize → verify → register
|
||||
opencli generate https://example.com --goal search
|
||||
```
|
||||
|
||||
或直接:
|
||||
```bash
|
||||
opencli generate https://example.com \
|
||||
--site mysite \
|
||||
--wait-seconds 5 \
|
||||
--top 3
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
### 实际例子:给小红书生成新命令
|
||||
|
||||
假设小红书有个新功能 "创作者数据中心" 没有现成适配器:
|
||||
|
||||
```bash
|
||||
# 1. 探索创作者中心页面(携带 Cookie)
|
||||
export OPENCLI_CDP_ENDPOINT="http://localhost:9222"
|
||||
|
||||
opencli explore https://creator.xiaohongshu.com/statistics \
|
||||
--site xiaohongshu-creator \
|
||||
--wait-seconds 10
|
||||
|
||||
# 2. 合成候选命令
|
||||
opencli synthesize xiaohongshu-creator
|
||||
|
||||
# 3. 查看生成的候选
|
||||
ls ~/.opencli/explore/xiaohongshu-creator_*/candidates/
|
||||
|
||||
# 4. 验证并注册
|
||||
opencli verify xiaohongshu-creator/candidates/stats.yaml
|
||||
opencli register xiaohongshu-creator/candidates/stats.yaml
|
||||
|
||||
# 5. 使用!
|
||||
opencli xiaohongshu-creator stats --start-date 2024-04-01
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
### Cookie 的作用
|
||||
|
||||
| 模式 | 是否需要 Cookie | 说明 |
|
||||
|------|----------------|------|
|
||||
| **API 模式** | ✅ 需要 | 直接调用后端 API,需认证头/Cookie |
|
||||
| **Browser 模式** | ✅ 需要 | 控制真实浏览器,需登录态 |
|
||||
| **Store 模式** | 可选 | 从 Pinia/Vuex 读取,有时无需认证 |
|
||||
|
||||
---
|
||||
|
||||
### 关键技术点
|
||||
|
||||
**explore 阶段捕获的数据:**
|
||||
```javascript
|
||||
// 网络请求拦截
|
||||
{
|
||||
url: "https://edith.xiaohongshu.com/api/sns/web/v1/search/notes",
|
||||
method: "POST",
|
||||
headers: {
|
||||
"Cookie": "web_session=xxx...",
|
||||
"X-Sign": "xxx" // 签名算法也被记录
|
||||
},
|
||||
requestBody: { keyword: "xxx", page: 1 },
|
||||
responseBody: { data: { items: [...] } }
|
||||
}
|
||||
```
|
||||
|
||||
**自动推断:**
|
||||
- `keyword` → `--keyword` 参数
|
||||
- `page` → `--page` 参数(带默认值 1)
|
||||
- `items` 数组 → 输出表格的行
|
||||
- `data.items[*].title` → `title` 列
|
||||
|
||||
---
|
||||
|
||||
### 总结
|
||||
|
||||
> **你给我一个网站 + Cookie,我就能自动生成 CLI 适配器**
|
||||
|
||||
不需要手写代码,OpenCLI 通过**真实浏览器行为分析**自动推导:
|
||||
- API 端点
|
||||
- 参数映射
|
||||
- 认证方式
|
||||
- 数据提取路径
|
||||
|
||||
这是它的核心创新点:**从真实交互中"学习"网站 API,而非阅读文档**。
|
||||
|
||||
|
||||
|
||||
|
||||
---
|
||||
|
||||
我更新了小红书的cookie,在 /home/ubuntu/xiaohongshu_cookies.txt
|
||||
你根据这个cookie,实现一个我们自己的 my_iaohongshu_cli
|
||||
在我们的git仓库 /home/ubuntu/nanocode目录下创建一个目录my_iaohongshu_cli,来实现这个cli
|
||||
|
||||
|
||||
|
||||
|
||||
现在我完全理清了!让我给你完整梳理:
|
||||
|
||||
---
|
||||
|
||||
## 📊 小红书发布方式现状
|
||||
|
||||
### **CLI 工具**(实际可执行命令)
|
||||
|
||||
| 工具 | 路径/来源 | 状态 | 说明 |
|
||||
|------|----------|------|------|
|
||||
| **`xhs`** | `uv tool install xiaohongshu-cli` | ✅ **在用** | 原版 v0.6.4,从浏览器提取 Cookie |
|
||||
| **`myxhs`** | `/home/ubuntu/nanocode/my_xiaohongshu_cli/` | ✅ **在用** | 我刚开发的,用本地 Cookie 文件 |
|
||||
| `opencli xiaohongshu` | npm @jackwener/opencli | ❌ **已弃用** | 无适配器 (clis 目录为空) |
|
||||
|
||||
---
|
||||
|
||||
### **Skills**(nanobot 的指导文件)
|
||||
|
||||
| Skill | 用途 | 调用的工具 |
|
||||
|-------|------|-----------|
|
||||
| `xiaohongshu-cli` | 指导使用 `xhs` 命令 | → 调用 `xhs` |
|
||||
| `xiaohongshu-poster` | 指导生成图文+发布 | → 调用 `xhs post` |
|
||||
| `xiaohongshu-converter` | 内容转换 | ? |
|
||||
| `xiaohongshu_integration` | 集成相关 | ? |
|
||||
| `opencli-integration` | 指导使用 opencli | → **已无用** |
|
||||
|
||||
---
|
||||
|
||||
### **关键结论**
|
||||
|
||||
1. **`myxhs` 是工具,不是 Skill**
|
||||
- 它只是 `/home/ubuntu/.local/bin/myxhs` 这个 CLI 命令
|
||||
- 还没有对应的 Skill 文件来指导我使用它
|
||||
|
||||
2. **实际上只有 2 个有效的 CLI 工具**
|
||||
- `xhs` - 原版,自动从浏览器取 Cookie
|
||||
- `myxhs` - 我开发的,读本地文件 `/home/ubuntu/xiaohongshu_cookies.txt`
|
||||
|
||||
3. **OpenCLI 已废弃**
|
||||
- `.openclaw/` 目录已删(之前清理过)
|
||||
- `~/.opencli/clis/` 是空的,没有小红书适配器
|
||||
- `opencli-integration` 这个 Skill 应该删除
|
||||
|
||||
4. **GitHub 仓库关系**
|
||||
- `jackwener/xhs-cli` 和 `jackwener/xiaohongshu-cli` 是**同一个项目**
|
||||
- PyPI 包名是 `xiaohongshu-cli`,安装后是 `xhs` 命令
|
||||
|
||||
---
|
||||
|
||||
### **建议**
|
||||
|
||||
要不要我:
|
||||
1. 创建一个 `my-xiaohongshu-cli` 的 Skill 文件,指导我使用 `myxhs`?
|
||||
2. 删除废弃的 `opencli-integration` Skill?
|
||||
3. 或者统一只用 `xhs`,不再维护 `myxhs`?
|
||||
4.
|
||||
Reference in New Issue
Block a user