8.8 KiB
8.8 KiB
🔧 CLI 技术原理详解
1. CLI 的本质
CLI 不是单一技术,而是多种模式的统称:
┌─────────────────────────────────────────────────────────┐
│ CLI 的三种形态 │
├─────────────────┬─────────────────┬─────────────────────┤
│ 本地直接执行 │ 本地Client │ Web API封装 │
│ │ + Remote Server │ │
├─────────────────┼─────────────────┼─────────────────────┤
│ ls, cat, grep │ mysql, redis │ xhs, gh, aws │
│ markitdown │ -cli, ssh │ -cli │
└─────────────────┴─────────────────┴─────────────────────┘
2. 三种CLI模式的原理
模式一:本地直接执行(如 ls, markitdown)
用户输入 → Shell解析 → fork/exec系统调用 → 程序执行 → stdout输出
# Python示例
import subprocess
# 直接执行本地程序
result = subprocess.run(
["markitdown", "file.pdf"], # 命令 + 参数
capture_output=True, # 捕获输出
text=True # 文本格式
)
print(result.stdout) # 输出结果
数据传输:进程间通信(管道pipe) 协议:无(本地进程) 格式:纯文本 / 二进制
模式二:Client-Server 模式(如 mysql, redis-cli)
┌──────────┐ TCP/Unix Socket ┌──────────┐
│ Client │ ═══════════════════════▶ │ Server │
│ (CLI工具) │ ◀═══════════════════════ │ (守护进程)│
└──────────┘ 专用协议/RESP/MySQL协议 └──────────┘
以 Redis 为例:
用户: SET name "Tom"
↓
CLI: 编码为 RESP 协议: *3\r\n$3\r\nSET\r\n$4\r\nname\r\n$3\r\nTom\r\n
↓
Server: 执行命令,返回: +OK\r\n
↓
CLI: 解码并显示: OK
RESP协议格式(Redis序列化协议):
*3 # 3个元素数组
$3 # 第1个元素长度3
SET # 命令
$4 # 第2个元素长度4
name # key
$3 # 第3个元素长度3
Tom # value
模式三:HTTP API 封装(如 xhs, gh, aws-cli)
┌──────────┐ HTTPS/HTTP ┌──────────┐
│ Client │ ═══════════════════════▶ │ API │
│ (CLI工具) │ ◀═══════════════════════ │ Server │
└──────────┘ REST/GraphQL └──────────┘
JSON格式
以 xhs search 为例:
# 用户输入
xhs search "宠物辅酶" --json
# CLI内部实际做的HTTP请求:
GET https://edith.xiaohongshu.com/api/sns/web/v1/search/notes
Headers:
- Cookie: web_session=xxx
- X-Sign: 加密签名
- User-Agent: xhs/0.6.4
# 服务器返回 (JSON):
{
"ok": true,
"data": {
"items": [
{"id": "xxx", "title": "...", "liked_count": "5872"}
]
}
}
# CLI格式化输出给用户
3. 数据传输格式对比
| 类型 | 数据格式 | 协议 | 示例 |
|---|---|---|---|
| 本地执行 | 纯文本/二进制 | 无(进程管道) | ls, markitdown |
| 数据库存储 | RESP/自定义 | TCP | redis-cli, mysql |
| 现代API CLI | JSON/YAML | HTTPS | xhs, gh, aws |
| RPC服务 | Protobuf/gRPC | HTTP/2 | kubectl |
4. CLI Client-Server 详解
有 Server 的情况
# 以 xhs-cli 为例的架构
┌─────────────────────────────────────────────────────────┐
│ xhs-cli (Client) │
├─────────────────────────────────────────────────────────┤
│ 1. 命令解析 (Click/Argparse) │
│ - 解析子命令: search/post/read │
│ - 解析参数: --json, --sort │
│ │
│ 2. HTTP Client (requests) │
│ - 构建请求头 (Cookie, Sign) │
│ - 发送 HTTPS 请求 │
│ - 处理响应 │
│ │
│ 3. 输出格式化 │
│ - JSON → 人类可读格式 │
│ - 表格/颜色输出 │
└─────────────────────────────────────────────────────────┘
│
▼ HTTPS
┌─────────────────────────────────────────────────────────┐
│ 小红书 API Server │
│ (https://edith.xiaohongshu.com) │
└─────────────────────────────────────────────────────────┘
无 Server 的情况(纯本地)
# 以 markitdown 为例
┌─────────────────────────────────────────────────────────┐
│ markitdown (纯本地) │
├─────────────────────────────────────────────────────────┤
│ 1. 文件读取 → PDFMiner/pptx等库解析 │
│ 2. 内容提取 → Markdown格式转换 │
│ 3. 直接输出到 stdout/文件 │
│ │
│ 无网络通信!纯本地计算 │
└─────────────────────────────────────────────────────────┘
5. 通讯协议总结
| CLI工具 | 协议 | 格式 | 架构 |
|---|---|---|---|
ls/cat |
无 | 文本 | 本地 |
ssh |
SSH协议 | 加密文本 | C/S |
redis-cli |
RESP | 自定义 | C/S |
mysql |
MySQL协议 | 二进制 | C/S |
xhs |
HTTPS | JSON | C/S (API) |
gh |
HTTPS | JSON | C/S (API) |
aws-cli |
HTTPS | JSON/XML | C/S (API) |
kubectl |
HTTPS/gRPC | JSON/YAML | C/S (K8s API) |
6. 为什么现代CLI偏好HTTP+JSON?
优势:
1. 跨平台 - HTTP到处可用
2. 易调试 - curl直接测试API
3. 强类型 - JSON Schema定义
4. 版本兼容 - API版本控制
5. 生态丰富 - 自动文档(Swagger)
劣势:
1. 需要联网
2. 延迟较高
3. 认证复杂 (OAuth/Token)
7. 给我们的启示
| 我们已有工具 | 架构类型 | 协议 | 适用场景 |
|---|---|---|---|
xhs-cli |
HTTP Client | HTTPS+JSON | API封装 |
markitdown |
本地处理 | 无 | 文档转换 |
sqlite3 |
本地+Server | SQL | 数据库 |
nanobot |
HTTP Client | HTTPS+JSON | AI API |
如果我们自己开发CLI工具:
# 推荐架构: 本地CLI + 可选HTTP Server
# 1. 纯本地CLI (类似 markitdown)
cli-tool process input.pdf → output.md # 本地完成
# 2. Client-Server模式 (类似 xhs)
cli-tool search "关键词" → HTTPS → API → JSON响应
# 3. 混合模式 (本地处理 + 可选远程)
cli-tool process input.pdf --local # 本地处理
cli-tool process input.pdf --cloud # 调用远程API
蔡叔叔想深入了解哪种模式?或者想给哪个工具做CLI封装? 🐈