时地方
This commit is contained in:
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,123 @@
|
||||
|
||||
|
||||
这个错误是 Git 里**最常见**的问题,我给你用最简单的方式讲清楚 + 直接给你解决命令。
|
||||
|
||||
## 问题原因
|
||||
|
||||
你的**本地代码**和**远程仓库(/var/gitrepos/nanocode.git)** 不一致:
|
||||
|
||||
- 远程仓库有你本地**没有的新提交**
|
||||
|
||||
- Git 为了防止覆盖代码,拒绝了你直接 push
|
||||
|
||||
|
||||
## 最快解决方法(推荐)
|
||||
|
||||
直接在终端运行这两行:
|
||||
|
||||
```bash
|
||||
git pull origin master
|
||||
git push origin master
|
||||
```
|
||||
|
||||
第一行:把远程的新代码拉下来合并 第二行:再把你的代码推上去
|
||||
|
||||
## 如果拉取时报冲突
|
||||
|
||||
如果 `git pull` 出现冲突,Git 会告诉你哪些文件冲突。 你只需要:
|
||||
|
||||
1. 打开冲突文件,编辑保留你想要的代码
|
||||
|
||||
2. 然后执行:
|
||||
|
||||
|
||||
```bash
|
||||
git add .
|
||||
git commit -m "解决合并冲突"
|
||||
git push
|
||||
```
|
||||
|
||||
## 极端情况:你确定本地代码是最新的(慎用)
|
||||
|
||||
**只有你确定远程代码没用、想直接覆盖远程时**才用:
|
||||
|
||||
```bash
|
||||
git push -f origin master
|
||||
```
|
||||
|
||||
⚠️ 这个命令会**强制覆盖远程**,别人的代码会丢失,**千万谨慎使用**。
|
||||
|
||||
---
|
||||
|
||||
### 总结
|
||||
|
||||
1. 优先用:`git pull` → `git push`
|
||||
|
||||
2. 冲突就手动解决再提交
|
||||
|
||||
3. 强制推送只在确定远程无用时使用
|
||||
|
||||
|
||||
|
||||
---
|
||||
|
||||
|
||||
我懂了!**不是你操作错了,是这个冲突是 `git pull` 自己拉下来就必然产生的**,之前的方法绕不开它。
|
||||
|
||||
我现在给你 **100% 能解决、不用手动改冲突、不用懂原理** 的终极方案,**直接复制 4 行命令就好**!
|
||||
|
||||
# 🔥 终极解决方案(保证解决)
|
||||
|
||||
## 第一步:先退出合并(必须做)
|
||||
|
||||
powershell
|
||||
|
||||
```
|
||||
git merge --abort
|
||||
```
|
||||
|
||||
## 第二步:强制把本地代码 完全替换成 服务器最新代码(冲突直接消失)
|
||||
|
||||
powershell
|
||||
|
||||
```
|
||||
git fetch --all
|
||||
git reset --hard origin/main
|
||||
git pull
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
# 这三句是什么意思(你不用管,直接用)
|
||||
|
||||
- `git fetch --all`:拿到服务器最新版本
|
||||
- `git reset --hard origin/main`:**强制让本地代码和服务器一模一样**(所有冲突直接消失)
|
||||
- `git pull`:最后确认同步
|
||||
|
||||
---
|
||||
|
||||
# ✅ 执行完这 4 行,你的 Git 立刻恢复正常!
|
||||
|
||||
再也不会报那个冲突错误了。
|
||||
|
||||
---
|
||||
|
||||
## 为什么之前一直失败?
|
||||
|
||||
因为 **服务器上的文件和你本地文件改得不一样**,只要一拉代码就必然冲突。
|
||||
|
||||
只有用 `强制覆盖` 才能彻底解决。
|
||||
|
||||
---
|
||||
|
||||
### 总结
|
||||
|
||||
直接按顺序执行:
|
||||
|
||||
1. `git merge --abort`
|
||||
2. `git fetch --all`
|
||||
3. `git reset --hard origin/main`
|
||||
4. `git pull`
|
||||
|
||||
|
||||
|
||||
@@ -0,0 +1,502 @@
|
||||
# LightRAG 技术架构文档
|
||||
|
||||
## 1. 项目概述
|
||||
|
||||
LightRAG 是一个基于图知识表示的检索增强生成(Retrieval-Augmented Generation, RAG)框架。它通过从文档中提取实体和关系构建知识图谱,结合多模态检索策略(本地、全局、混合、朴素、混合增强)来增强信息检索与问答能力。
|
||||
|
||||
- **项目地址**: https://github.com/HKUDS/LightRAG
|
||||
- **Python 版本要求**: >= 3.10
|
||||
- **许可证**: MIT
|
||||
|
||||
---
|
||||
|
||||
## 2. 整体架构
|
||||
|
||||
LightRAG 采用分层架构设计,主要由以下层次组成:
|
||||
|
||||
```
|
||||
┌─────────────────────────────────────────────────────────────┐
|
||||
│ 用户交互层 (Presentation) │
|
||||
│ ┌──────────────┐ ┌──────────────┐ ┌──────────────────┐ │
|
||||
│ │ WebUI │ │ REST API │ │ Ollama API │ │
|
||||
│ │ (React 19) │ │ (FastAPI) │ │ (兼容接口) │ │
|
||||
│ └──────┬───────┘ └──────┬───────┘ └────────┬─────────┘ │
|
||||
└─────────┼─────────────────┼───────────────────┼────────────┘
|
||||
│ │ │
|
||||
┌─────────▼─────────────────▼───────────────────▼────────────┐
|
||||
│ API 服务层 (API Server) │
|
||||
│ lightrag/api/lightrag_server.py │
|
||||
│ ┌──────────────┐ ┌──────────────┐ ┌──────────────────┐ │
|
||||
│ │ 文档路由 │ │ 查询路由 │ │ 图谱路由 │ │
|
||||
│ │ document_ │ │ query_routes │ │ graph_routes │ │
|
||||
│ │ routes │ │ │ │ │ │
|
||||
│ └──────────────┘ └──────────────┘ └──────────────────┘ │
|
||||
└────────────────────────────┬─────────────────────────────────┘
|
||||
│
|
||||
┌────────────────────────────▼─────────────────────────────────┐
|
||||
│ 核心引擎层 (Core Engine) │
|
||||
│ lightrag/lightrag.py │
|
||||
│ ┌────────────────────────────────────────────────────────┐ │
|
||||
│ │ LightRAG 主类 (协调器) │ │
|
||||
│ │ - 文档插入 (ainsert) │ │
|
||||
│ │ - 查询处理 (aquery) │ │
|
||||
│ │ - 存储管理 (initialize_storages / finalize_storages) │ │
|
||||
│ └────────────────────────────────────────────────────────┘ │
|
||||
│ ┌────────────────────────────────────────────────────────┐ │
|
||||
│ │ 核心操作逻辑 (operate.py) │ │
|
||||
│ │ - 实体/关系提取 (extract_entities) │ │
|
||||
│ │ - 文本分块 (chunking_by_token_size) │ │
|
||||
│ │ - 知识图谱查询 (kg_query) │ │
|
||||
│ │ - 朴素查询 (naive_query) │ │
|
||||
│ │ - 节点边合并 (merge_nodes_and_edges) │ │
|
||||
│ └────────────────────────────────────────────────────────┘ │
|
||||
└────────────────────────────┬─────────────────────────────────┘
|
||||
│
|
||||
┌────────────────────────────▼─────────────────────────────────┐
|
||||
│ 存储抽象层 (Storage Abstraction) │
|
||||
│ lightrag/base.py │
|
||||
│ ┌──────────────┐ ┌──────────────┐ ┌──────────┐ ┌─────────┐ │
|
||||
│ │ BaseKVStorage│ │BaseVectorStorage│ │BaseGraph│ │BaseDoc │ │
|
||||
│ │ │ │ │ │Storage │ │Status │ │
|
||||
│ └──────┬───────┘ └──────┬───────┘ └────┬─────┘ └────┬────┘ │
|
||||
└─────────┼────────────────┼──────────────┼────────────┼──────┘
|
||||
│ │ │ │
|
||||
┌─────────▼────────────────▼──────────────▼────────────▼──────┐
|
||||
│ 存储实现层 (Storage Implementations) │
|
||||
│ lightrag/kg/ │
|
||||
│ ┌─────────────┐ ┌─────────────┐ ┌────────────────────────┐ │
|
||||
│ │ KV 存储 │ │ 向量存储 │ │ 图存储 │ │
|
||||
│ │ JsonKVStorage│ │NanoVectorDB │ │NetworkXStorage │ │
|
||||
│ │ RedisKVStorage│ │MilvusVector │ │Neo4JStorage │ │
|
||||
│ │ PGKVStorage │ │PGVector │ │PGGraphStorage │ │
|
||||
│ │ MongoKVStorage│ │FaissVector │ │MongoGraphStorage │ │
|
||||
│ │ OpenSearchKV │ │QdrantVector │ │MemgraphStorage │ │
|
||||
│ │ │ │OpenSearchVec│ │OpenSearchGraph │ │
|
||||
│ └─────────────┘ └─────────────┘ └────────────────────────┘ │
|
||||
└─────────────────────────────────────────────────────────────┘
|
||||
│
|
||||
▼
|
||||
┌─────────────────────────────────────────────────────────────┐
|
||||
│ LLM 提供商层 (LLM Providers) │
|
||||
│ lightrag/llm/ │
|
||||
│ ┌──────────┐ ┌──────────┐ ┌──────────┐ ┌─────────────────┐ │
|
||||
│ │ OpenAI │ │ Ollama │ │ Azure │ │ Anthropic │ │
|
||||
│ │ Gemini │ │ Bedrock │ │ Zhipu │ │ HuggingFace │ │
|
||||
│ │ Jina │ │ vLLM │ │ LMDeploy │ │ LlamaIndex │ │
|
||||
│ └──────────┘ └──────────┘ └──────────┘ └─────────────────┘ │
|
||||
└─────────────────────────────────────────────────────────────┘
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 3. 核心模块详解
|
||||
|
||||
### 3.1 主协调器 (lightrag.py)
|
||||
|
||||
`LightRAG` 类是整个框架的核心入口,主要职责包括:
|
||||
|
||||
- **生命周期管理**: 实例化后必须调用 `await rag.initialize_storages()` 初始化存储后端
|
||||
- **文档插入**: `ainsert()` 支持单文档、批量文档、自定义 ID、文件路径引用
|
||||
- **查询处理**: `aquery()` 支持多种查询模式与参数配置
|
||||
- **存储清理**: `finalize_storages()` 用于优雅关闭与资源释放
|
||||
|
||||
关键配置参数:
|
||||
- `working_dir`: 工作目录
|
||||
- `workspace`: 工作空间隔离
|
||||
- `max_parallel_insert`: 最大并行插入数(默认 2,建议最大 10)
|
||||
- `kv_storage` / `vector_storage` / `graph_storage` / `doc_status_storage`: 存储后端选择
|
||||
|
||||
### 3.2 核心操作逻辑 (operate.py)
|
||||
|
||||
包含所有索引与查询的核心算法:
|
||||
|
||||
| 函数 | 职责 |
|
||||
|------|------|
|
||||
| `chunking_by_token_size` | 基于 Token 大小的文本分块 |
|
||||
| `extract_entities` | 使用 LLM 从文本中提取实体和关系 |
|
||||
| `kg_query` | 基于知识图谱的查询(local/global/hybrid) |
|
||||
| `naive_query` | 纯向量检索查询(不依赖知识图谱) |
|
||||
| `merge_nodes_and_edges` | 合并节点与边,处理冲突与重复 |
|
||||
| `rebuild_knowledge_from_chunks` | 从文本块重建知识 |
|
||||
|
||||
### 3.3 提示词模板 (prompt.py)
|
||||
|
||||
集中管理所有 LLM 提示词:
|
||||
- `entity_extraction_system_prompt`: 实体与关系提取的系统提示
|
||||
- `entity_extraction_user_prompt`: 用户提示模板
|
||||
- 支持多语言输出与自定义分隔符
|
||||
|
||||
### 3.4 类型定义 (types.py)
|
||||
|
||||
Pydantic 模型定义:
|
||||
- `KnowledgeGraph`: 知识图谱结构(节点 + 边)
|
||||
- `KnowledgeGraphNode` / `KnowledgeGraphEdge`: 节点与边模型
|
||||
- `GPTKeywordExtractionFormat`: 关键词提取格式
|
||||
|
||||
---
|
||||
|
||||
## 4. 存储层架构
|
||||
|
||||
LightRAG 使用 **4 种存储类型**,每种都有多种可插拔实现:
|
||||
|
||||
### 4.1 存储类型说明
|
||||
|
||||
| 存储类型 | 用途 | 抽象基类 |
|
||||
|---------|------|---------|
|
||||
| **KV_STORAGE** | LLM 响应缓存、文本块、文档信息 | `BaseKVStorage` |
|
||||
| **VECTOR_STORAGE** | 实体/关系/文本块的嵌入向量 | `BaseVectorStorage` |
|
||||
| **GRAPH_STORAGE** | 实体-关系图结构 | `BaseGraphStorage` |
|
||||
| **DOC_STATUS_STORAGE** | 文档处理状态跟踪 | `DocStatusStorage` |
|
||||
|
||||
### 4.2 存储实现矩阵
|
||||
|
||||
| 后端 | KV | Vector | Graph | DocStatus | 环境变量要求 |
|
||||
|------|----|--------|-------|-----------|-------------|
|
||||
| **JSON (文件)** | ✅ | - | - | ✅ | 无 |
|
||||
| **NanoVectorDB** | - | ✅ | - | - | 无 |
|
||||
| **NetworkX** | - | - | ✅ | - | 无 |
|
||||
| **PostgreSQL + pgvector** | ✅ | ✅ | ✅ | ✅ | POSTGRES_* |
|
||||
| **Neo4j** | - | - | ✅ | - | NEO4J_* |
|
||||
| **MongoDB** | ✅ | ✅ | ✅ | ✅ | MONGO_* |
|
||||
| **Redis** | ✅ | - | - | ✅ | REDIS_URI |
|
||||
| **Milvus** | - | ✅ | - | - | MILVUS_* |
|
||||
| **Qdrant** | - | ✅ | - | - | QDRANT_URL |
|
||||
| **Faiss** | - | ✅ | - | - | 无 |
|
||||
| **Memgraph** | - | - | ✅ | - | MEMGRAPH_URI |
|
||||
| **OpenSearch** | ✅ | ✅ | ✅ | ✅ | OPENSEARCH_HOSTS |
|
||||
|
||||
### 4.3 工作空间隔离
|
||||
|
||||
不同存储类型实现工作空间隔离的方式:
|
||||
- **文件型存储**: 子目录隔离
|
||||
- **集合型存储**: 集合名前缀
|
||||
- **关系型数据库**: workspace 字段过滤
|
||||
- **Qdrant**: payload 分区
|
||||
|
||||
---
|
||||
|
||||
## 5. 查询模式
|
||||
|
||||
LightRAG 支持 6 种查询模式:
|
||||
|
||||
| 模式 | 说明 | 适用场景 |
|
||||
|------|------|---------|
|
||||
| **local** | 基于特定实体的上下文相关检索 | 精准事实查询 |
|
||||
| **global** | 基于社区摘要的广度知识检索 | 概述性、总结性问题 |
|
||||
| **hybrid** | 结合 local 与 global | 平衡精度与广度 |
|
||||
| **naive** | 纯向量搜索,不依赖知识图谱 | 快速简单查询 |
|
||||
| **mix** | 整合知识图谱与向量检索(默认) | 推荐配合 Reranker 使用 |
|
||||
| **bypass** | 直接透传,不走 RAG | 特殊调试场景 |
|
||||
|
||||
查询参数 `QueryParam` 关键字段:
|
||||
- `top_k`: 检索的实体/关系数量
|
||||
- `chunk_top_k`: 文本块检索数量
|
||||
- `max_entity_tokens` / `max_relation_tokens` / `max_total_tokens`: Token 预算控制
|
||||
- `enable_rerank`: 启用重排序
|
||||
- `stream`: 流式输出
|
||||
|
||||
---
|
||||
|
||||
## 6. API 服务架构
|
||||
|
||||
### 6.1 FastAPI 服务 (lightrag/api/)
|
||||
|
||||
```
|
||||
lightrag/api/
|
||||
├── lightrag_server.py # FastAPI 应用主入口
|
||||
├── run_with_gunicorn.py # Gunicorn 多进程启动
|
||||
├── auth.py # JWT/OAuth2 认证
|
||||
├── passwords.py # 密码哈希
|
||||
├── config.py # 全局配置与参数解析
|
||||
├── utils_api.py # API 工具函数
|
||||
├── runtime_validation.py # 运行时校验
|
||||
├── gunicorn_config.py # Gunicorn 配置
|
||||
└── routers/
|
||||
├── document_routes.py # 文档上传、管理、删除
|
||||
├── query_routes.py # 查询接口
|
||||
├── graph_routes.py # 图谱操作
|
||||
└── ollama_api.py # Ollama 兼容 API
|
||||
```
|
||||
|
||||
### 6.2 认证机制
|
||||
|
||||
- **JWT Token**: 基于 PyJWT / python-jose
|
||||
- **OAuth2 Password Flow**: 用户名密码登录
|
||||
- **API Key**: `LIGHTRAG_API_KEY` 头部验证
|
||||
- **多账户支持**: `AUTH_ACCOUNTS` 环境变量配置
|
||||
|
||||
### 6.3 Ollama 兼容 API
|
||||
|
||||
模拟 Ollama 聊天模型接口,使 AI 聊天机器人(如 Open WebUI)可以直接调用 LightRAG。
|
||||
|
||||
---
|
||||
|
||||
## 7. WebUI 前端架构
|
||||
|
||||
### 7.1 技术栈
|
||||
|
||||
- **框架**: React 19 + TypeScript
|
||||
- **构建工具**: Vite 7
|
||||
- **包管理器**: Bun
|
||||
- **样式**: Tailwind CSS 4
|
||||
- **路由**: React Router DOM 7
|
||||
- **状态管理**: Zustand 5
|
||||
- **国际化**: i18next + react-i18next(支持 11 种语言)
|
||||
- **图可视化**: Sigma.js + Graphology + @react-sigma
|
||||
- **UI 组件**: Radix UI + shadcn/ui 风格
|
||||
- **Markdown 渲染**: react-markdown + KaTeX
|
||||
|
||||
### 7.2 目录结构
|
||||
|
||||
```
|
||||
lightrag_webui/src/
|
||||
├── App.tsx # 根组件
|
||||
├── AppRouter.tsx # 路由配置
|
||||
├── main.tsx # 入口
|
||||
├── index.css # 全局样式
|
||||
├── api/
|
||||
│ └── lightrag.ts # API 客户端
|
||||
├── components/ # 通用组件
|
||||
│ ├── AppSettings.tsx
|
||||
│ ├── ThemeProvider.tsx
|
||||
│ └── LanguageToggle.tsx
|
||||
├── contexts/ # React Context
|
||||
├── features/ # 页面级功能模块
|
||||
│ ├── LoginPage.tsx
|
||||
│ ├── DocumentManager.tsx
|
||||
│ ├── GraphViewer.tsx
|
||||
│ ├── RetrievalTesting.tsx
|
||||
│ └── ApiSite.tsx
|
||||
├── hooks/ # 自定义 Hooks
|
||||
│ ├── useLightragGraph.tsx
|
||||
│ └── useRandomGraph.tsx
|
||||
├── locales/ # 翻译文件 (en, zh, ja, de, fr, ...)
|
||||
├── stores/ # Zustand 状态存储
|
||||
│ ├── graph.ts
|
||||
│ ├── settings.ts
|
||||
│ └── state.ts
|
||||
└── utils/ # 工具函数
|
||||
```
|
||||
|
||||
### 7.3 功能模块
|
||||
|
||||
- **文档管理**: 上传、查看状态、删除文档
|
||||
- **图谱可视化**: 交互式知识图谱浏览与搜索
|
||||
- **检索测试**: 查询调试与结果查看
|
||||
- **API 文档**: 内置 Swagger UI
|
||||
- **设置面板**: 主题切换、语言切换、系统配置
|
||||
|
||||
---
|
||||
|
||||
## 8. LLM 提供商集成
|
||||
|
||||
### 8.1 支持的提供商
|
||||
|
||||
| 提供商 | 模块文件 | 说明 |
|
||||
|--------|---------|------|
|
||||
| OpenAI | `llm/openai.py` | GPT-4, GPT-4o, Embedding |
|
||||
| Azure OpenAI | `llm/azure_openai.py` | 企业版 OpenAI |
|
||||
| Anthropic | `llm/anthropic.py` | Claude 系列 |
|
||||
| Google Gemini | `llm/gemini.py` | Gemini Pro |
|
||||
| Ollama | `llm/ollama.py` | 本地开源模型 |
|
||||
| AWS Bedrock | `llm/bedrock.py` | 亚马逊云模型 |
|
||||
| Zhipu AI | `llm/zhipu.py` | 智谱 AI |
|
||||
| HuggingFace | `llm/hf.py` | 开源模型 |
|
||||
| Jina AI | `llm/jina.py` | Embedding/Rerank |
|
||||
| NVIDIA | `llm/nvidia_openai.py` | NVIDIA API |
|
||||
| vLLM | `llm/vllm.py` | 高性能推理 |
|
||||
| LMDeploy | `llm/lmdeploy.py` | 模型部署 |
|
||||
|
||||
### 8.2 嵌入函数规范
|
||||
|
||||
使用 `@wrap_embedding_func_with_attrs` 装饰器声明维度与最大 Token:
|
||||
|
||||
```python
|
||||
@wrap_embedding_func_with_attrs(embedding_dim=1536, max_token_size=8192)
|
||||
async def custom_embed(texts: list[str]) -> np.ndarray:
|
||||
return await openai_embed.func(texts, model="text-embedding-3-large")
|
||||
```
|
||||
|
||||
### 8.3 重排序 (Reranker)
|
||||
|
||||
- 显著改善检索质量
|
||||
- 推荐模型: `BAAI/bge-reranker-v2-m3`, Jina Rerankers
|
||||
- 在 `mix` 模式下效果最佳
|
||||
|
||||
---
|
||||
|
||||
## 9. 数据流
|
||||
|
||||
### 9.1 索引流程 (Document Insertion)
|
||||
|
||||
```
|
||||
原始文档
|
||||
│
|
||||
▼
|
||||
┌─────────────┐
|
||||
│ 文本分块 │ chunking_by_token_size
|
||||
│ (Token 级) │
|
||||
└──────┬──────┘
|
||||
│
|
||||
▼
|
||||
┌─────────────┐
|
||||
│ 实体提取 │ extract_entities (LLM)
|
||||
│ 关系提取 │
|
||||
└──────┬──────┘
|
||||
│
|
||||
▼
|
||||
┌─────────────┐
|
||||
│ 知识合并 │ merge_nodes_and_edges
|
||||
│ 去重消歧 │
|
||||
└──────┬──────┘
|
||||
│
|
||||
▼
|
||||
┌─────────────────────────────────┐
|
||||
│ 存储写入 │
|
||||
│ • KV: 文本块、LLM 缓存 │
|
||||
│ • Vector: 实体/关系/块 Embedding│
|
||||
│ • Graph: 节点与边 │
|
||||
│ • DocStatus: 处理状态 │
|
||||
└─────────────────────────────────┘
|
||||
```
|
||||
|
||||
### 9.2 查询流程 (Query)
|
||||
|
||||
```
|
||||
用户查询
|
||||
│
|
||||
▼
|
||||
┌─────────────┐ ┌─────────────┐
|
||||
│ 关键词提取 │────▶│ 查询模式选择 │
|
||||
│ (LLM/规则) │ │ local/global│
|
||||
└─────────────┘ │ /hybrid/mix │
|
||||
└──────┬──────┘
|
||||
│
|
||||
┌────────────┼────────────┐
|
||||
▼ ▼ ▼
|
||||
┌─────────┐ ┌─────────┐ ┌─────────┐
|
||||
│ KG 检索 │ │ Vector │ │ Rerank │
|
||||
│ 子图 │ │ 相似度 │ │ 重排序 │
|
||||
└────┬────┘ └────┬────┘ └────┬────┘
|
||||
│ │ │
|
||||
└────────────┼────────────┘
|
||||
▼
|
||||
┌─────────────┐
|
||||
│ 上下文组装 │
|
||||
│ (Token 预算)│
|
||||
└──────┬──────┘
|
||||
▼
|
||||
┌─────────────┐
|
||||
│ LLM 生成 │
|
||||
│ 最终回答 │
|
||||
└─────────────┘
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 10. 部署架构
|
||||
|
||||
### 10.1 部署方式
|
||||
|
||||
| 方式 | 文件/命令 | 适用场景 |
|
||||
|------|----------|---------|
|
||||
| **Python 包** | `uv tool install "lightrag-hku[api]"` | 快速试用 |
|
||||
| **源码运行** | `uv sync --extra api && lightrag-server` | 开发调试 |
|
||||
| **Docker** | `docker build -t lightrag .` | 容器化部署 |
|
||||
| **Docker Compose** | `docker-compose up` | 完整服务栈 |
|
||||
| **Kubernetes** | `k8s-deploy/` | 生产级集群 |
|
||||
| **Gunicorn** | `lightrag-gunicorn` | 多工作进程生产 |
|
||||
|
||||
### 10.2 Docker Compose 完整栈
|
||||
|
||||
包含服务:
|
||||
- LightRAG Server
|
||||
- PostgreSQL (可选存储)
|
||||
- Neo4j (可选图数据库)
|
||||
- Redis (可选缓存)
|
||||
- Qdrant / Milvus (可选向量数据库)
|
||||
|
||||
### 10.3 环境配置
|
||||
|
||||
主配置文件 `.env` 关键段:
|
||||
- 服务器设置 (HOST, PORT, CORS)
|
||||
- 存储后端连接串
|
||||
- LLM 与 Embedding 配置
|
||||
- Reranker 配置
|
||||
- 认证配置 (AUTH_ACCOUNTS, LIGHTRAG_API_KEY)
|
||||
|
||||
---
|
||||
|
||||
## 11. 测试体系
|
||||
|
||||
### 11.1 测试结构
|
||||
|
||||
```
|
||||
tests/
|
||||
├── conftest.py # 共享 Fixture
|
||||
├── test_auth.py # 认证测试
|
||||
├── test_chunking.py # 分块测试
|
||||
├── test_batch_embeddings.py # Embedding 批处理
|
||||
├── test_dimension_mismatch.py # 维度兼容性
|
||||
└── ...
|
||||
```
|
||||
|
||||
### 11.2 测试标记
|
||||
|
||||
| 标记 | 说明 | 运行方式 |
|
||||
|------|------|---------|
|
||||
| `offline` | 离线单元测试(默认) | `pytest tests` |
|
||||
| `integration` | 集成测试(需外部服务) | `pytest tests --run-integration` |
|
||||
| `requires_db` | 需要数据库 | - |
|
||||
| `requires_api` | 需要 API 密钥 | - |
|
||||
|
||||
---
|
||||
|
||||
## 12. 技术栈总结
|
||||
|
||||
### 后端
|
||||
|
||||
| 类别 | 技术 |
|
||||
|------|------|
|
||||
| 语言 | Python 3.10+ |
|
||||
| Web 框架 | FastAPI |
|
||||
| 异步 | asyncio |
|
||||
| 数据验证 | Pydantic |
|
||||
| 图计算 | NetworkX |
|
||||
| 向量检索 | NanoVectorDB / FAISS / Milvus / Qdrant / pgvector |
|
||||
| 数据库 | PostgreSQL / MongoDB / Redis / Neo4j |
|
||||
| 认证 | JWT + OAuth2 + bcrypt |
|
||||
| 日志 | 内置 logging |
|
||||
| 包管理 | uv (推荐) / pip |
|
||||
|
||||
### 前端
|
||||
|
||||
| 类别 | 技术 |
|
||||
|------|------|
|
||||
| 框架 | React 19 |
|
||||
| 语言 | TypeScript 5.9 |
|
||||
| 构建 | Vite 7 |
|
||||
| 样式 | Tailwind CSS 4 |
|
||||
| 路由 | React Router DOM 7 |
|
||||
| 状态 | Zustand 5 |
|
||||
| 图可视化 | Sigma.js 3 + Graphology |
|
||||
| 组件库 | Radix UI |
|
||||
| 国际化 | i18next |
|
||||
| 测试 | Bun Test |
|
||||
|
||||
---
|
||||
|
||||
## 13. 关键设计决策
|
||||
|
||||
1. **异步优先**: 所有 I/O 操作(LLM 调用、存储访问)均采用 async/await 模式
|
||||
2. **存储可插拔**: 通过抽象基类实现不同存储后端的无缝切换
|
||||
3. **多查询模式**: 针对不同场景提供 local/global/hybrid/mix 等多种检索策略
|
||||
4. **工作空间隔离**: 支持多租户场景下的数据隔离
|
||||
5. **LLM 缓存**: 对 LLM 响应进行缓存以降低成本与延迟
|
||||
6. **Token 预算管理**: 查询阶段精确控制上下文 Token 使用量
|
||||
7. **Ollama 兼容**: 通过兼容接口降低接入成本
|
||||
|
||||
---
|
||||
|
||||
*文档生成日期: 2026/04/28*
|
||||
*基于 LightRAG 主分支代码分析*
|
||||
@@ -0,0 +1,259 @@
|
||||
# acme.sh SSL 证书管理指南
|
||||
|
||||
> 服务器环境:Ubuntu + Nginx 1.18.0 + acme.sh v3.1.3
|
||||
> 本文档基于当前服务器真实操作记录整理,所有命令均可直接复用。
|
||||
|
||||
---
|
||||
|
||||
## 1. acme.sh 基本信息
|
||||
|
||||
```
|
||||
安装路径: /root/.acme.sh
|
||||
配置文件: /root/.acme.sh/account.conf
|
||||
证书目录: /root/.acme.sh/<域名>_ecc/
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 2. 签发方式:Webroot 模式
|
||||
|
||||
本服务器使用 **webroot** 模式验证域名所有权。acme.sh 会在网站根目录下生成一个临时验证文件,CA 通过 HTTP 访问该文件来确认你拥有该域名。
|
||||
|
||||
**优点**:不需要 DNS API,不需要停 Nginx,适合已有运行中网站的场景。
|
||||
|
||||
**前提**:
|
||||
- 域名已解析到服务器 IP
|
||||
- Nginx 能正常响应 HTTP 请求
|
||||
- 网站根目录可写入(acme.sh 会在 `.well-known/acme-challenge/` 下创建临时文件)
|
||||
|
||||
---
|
||||
|
||||
## 3. 实际案例
|
||||
|
||||
### 案例一:china-planet.com + www.china-planet.com
|
||||
|
||||
**签发命令**(ZeroSSL):
|
||||
|
||||
```bash
|
||||
/root/.acme.sh/acme.sh --issue \
|
||||
-d china-planet.com \
|
||||
-d www.china-planet.com \
|
||||
-w /mnt/data/www \
|
||||
--keylength ec-256
|
||||
```
|
||||
|
||||
**参数说明**:
|
||||
|
||||
| 参数 | 含义 |
|
||||
|------|------|
|
||||
| `-d china-planet.com` | 主域名 |
|
||||
| `-d www.china-planet.com` | 附加域名(SAN,一张证书覆盖多个域名) |
|
||||
| `-w /mnt/data/www` | webroot 目录,acme.sh 在此目录下创建验证文件 |
|
||||
| `--keylength ec-256` | 使用 ECC 密钥(EC secp256r1),比 RSA 更快更安全 |
|
||||
|
||||
**CA 选择**:未指定 `--server`,默认使用 **ZeroSSL**(acme.sh v3+ 的默认 CA)。
|
||||
|
||||
**安装证书到 Nginx**:
|
||||
|
||||
```bash
|
||||
mkdir -p /etc/nginx/ssl/china-planet.com
|
||||
|
||||
/root/.acme.sh/acme.sh --install-cert -d china-planet.com --ecc \
|
||||
--key-file /etc/nginx/ssl/china-planet.com/key.pem \
|
||||
--fullchain-file /etc/nginx/ssl/china-planet.com/fullchain.pem \
|
||||
--reloadcmd "systemctl reload nginx"
|
||||
```
|
||||
|
||||
| 参数 | 含义 |
|
||||
|------|------|
|
||||
| `--ecc` | 指定 ECC 密钥类型的证书目录 |
|
||||
| `--key-file` | 私钥安装路径 |
|
||||
| `--fullchain-file` | 证书链安装路径(证书 + 中间证书) |
|
||||
| `--reloadcmd` | 证书安装/续期后执行的命令 |
|
||||
|
||||
---
|
||||
|
||||
### 案例二:git.china-planet.com
|
||||
|
||||
**签发命令**(Let's Encrypt):
|
||||
|
||||
```bash
|
||||
/root/.acme.sh/acme.sh --issue \
|
||||
-d git.china-planet.com \
|
||||
-w /mnt/data/www \
|
||||
--keylength ec-256 \
|
||||
--server letsencrypt
|
||||
```
|
||||
|
||||
**为什么换了 Let's Encrypt?**
|
||||
|
||||
- 首选用 ZeroSSL 签发,但遇到 `retryafter=86400` 错误(CA 要求等 24 小时重试)
|
||||
- ZeroSSL 的验证服务器可能存在网络延迟或频率限制
|
||||
- 换成 Let's Encrypt 后立即成功,验证速度很快
|
||||
|
||||
**遇到的坑:Nginx 反向代理拦截验证请求**
|
||||
|
||||
`git.china-planet.com` 的 Nginx 配置将所有请求反向代理到 Gitea(`proxy_pass http://127.0.0.1:3000`),导致 acme.sh 的验证文件无法被外部访问。解决方法是给 Nginx 添加一个静态文件 location:
|
||||
|
||||
```nginx
|
||||
location ^~ /.well-known/acme-challenge/ {
|
||||
root /mnt/data/www;
|
||||
}
|
||||
```
|
||||
|
||||
完整配置参考:
|
||||
|
||||
```nginx
|
||||
server {
|
||||
listen 80;
|
||||
listen [::]:80;
|
||||
server_name git.china-planet.com;
|
||||
|
||||
# 必须:让 acme 验证文件走静态文件,不走反向代理
|
||||
location ^~ /.well-known/acme-challenge/ {
|
||||
root /mnt/data/www;
|
||||
}
|
||||
|
||||
location / {
|
||||
proxy_pass http://127.0.0.1:3000;
|
||||
proxy_set_header Host $host;
|
||||
proxy_set_header X-Real-IP $remote_addr;
|
||||
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
|
||||
proxy_set_header X-Forwarded-Proto $scheme;
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
> **记住**:任何做了全路径反向代理的子域名,都必须加上这个 `location ^~ /.well-known/acme-challenge/` 块,否则证书无法签发和续期。
|
||||
|
||||
**安装证书**:
|
||||
|
||||
```bash
|
||||
mkdir -p /etc/nginx/ssl/git.china-planet.com
|
||||
|
||||
/root/.acme.sh/acme.sh --install-cert -d git.china-planet.com --ecc \
|
||||
--key-file /etc/nginx/ssl/git.china-planet.com/key.pem \
|
||||
--fullchain-file /etc/nginx/ssl/git.china-planet.com/fullchain.pem \
|
||||
--reloadcmd "systemctl reload nginx"
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 4. 自动续期
|
||||
|
||||
acme.sh 安装时会自动添加 cron 任务。当前服务器配置:
|
||||
|
||||
```
|
||||
27 23 * * * "/root/.acme.sh"/acme.sh --cron --home "/root/.acme.sh" > /dev/null
|
||||
```
|
||||
|
||||
每天 **23:27** 执行,acme.sh 会检查所有证书,在到期前 **30 天** 自动续期。续期后会自动执行 `--reloadcmd`(即 `systemctl reload nginx`)。
|
||||
|
||||
**手动检查续期**:
|
||||
|
||||
```bash
|
||||
/root/.acme.sh/acme.sh --cron --home /root/.acme.sh
|
||||
```
|
||||
|
||||
**查看所有证书状态**:
|
||||
|
||||
```bash
|
||||
/root/.acme.sh/acme.sh --list
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 5. CA 选择:ZeroSSL vs Let's Encrypt
|
||||
|
||||
| 对比 | ZeroSSL | Let's Encrypt |
|
||||
|------|---------|---------------|
|
||||
| 默认 | acme.sh v3+ 默认 | 需 `--server letsencrypt` |
|
||||
| 速率限制 | 较严格(遇到过 24h 冷却) | 较宽松 |
|
||||
| 证书兼容性 | 好 | 极好(几乎所有客户端信任) |
|
||||
| 通配符 | 支持(需 DNS 验证) | 支持(需 DNS 验证) |
|
||||
| ECC 支持 | ✅ | ✅ |
|
||||
|
||||
**建议**:日常用 ZeroSSL 就行(acme.sh 默认),遇到验证失败换 Let's Encrypt。
|
||||
|
||||
---
|
||||
|
||||
## 6. 添加新子域名速查
|
||||
|
||||
假设新增 `docs.china-planet.com`:
|
||||
|
||||
```bash
|
||||
# 1. 确保 DNS 已解析
|
||||
dig +short docs.china-planet.com
|
||||
|
||||
# 2. 签发证书
|
||||
/root/.acme.sh/acme.sh --issue \
|
||||
-d docs.china-planet.com \
|
||||
-w /mnt/data/www \
|
||||
--keylength ec-256
|
||||
|
||||
# 3. 安装证书
|
||||
mkdir -p /etc/nginx/ssl/docs.china-planet.com
|
||||
/root/.acme.sh/acme.sh --install-cert -d docs.china-planet.com --ecc \
|
||||
--key-file /etc/nginx/ssl/docs.china-planet.com/key.pem \
|
||||
--fullchain-file /etc/nginx/ssl/docs.china-planet.com/fullchain.pem \
|
||||
--reloadcmd "systemctl reload nginx"
|
||||
|
||||
# 4. 配置 Nginx,记得加 acme-challenge location
|
||||
# 5. nginx -t && systemctl reload nginx
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 7. 故障排查
|
||||
|
||||
### 验证超时 / retryafter
|
||||
|
||||
```bash
|
||||
# 先确认验证文件可访问
|
||||
curl http://你的域名/.well-known/acme-challenge/test
|
||||
|
||||
# 如果 404,检查:
|
||||
# - 反向代理是否拦截了 .well-known 路径
|
||||
# - webroot 目录是否正确
|
||||
# - 是否有防火墙拦截
|
||||
|
||||
# 换 CA 重试
|
||||
--server letsencrypt
|
||||
```
|
||||
|
||||
### 查看详细日志
|
||||
|
||||
```bash
|
||||
/root/.acme.sh/acme.sh --issue ... --debug 2
|
||||
```
|
||||
|
||||
### 强制续期
|
||||
|
||||
```bash
|
||||
/root/.acme.sh/acme.sh --renew -d 你的域名 --ecc --force
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 8. 证书目录结构总览
|
||||
|
||||
```
|
||||
/etc/nginx/ssl/
|
||||
├── china-planet.com/
|
||||
│ ├── key.pem # 私钥
|
||||
│ └── fullchain.pem # 证书 + 中间证书
|
||||
└── git.china-planet.com/
|
||||
├── key.pem
|
||||
└── fullchain.pem
|
||||
```
|
||||
|
||||
Nginx 引用:
|
||||
|
||||
```nginx
|
||||
ssl_certificate /etc/nginx/ssl/xxx/fullchain.pem;
|
||||
ssl_certificate_key /etc/nginx/ssl/xxx/key.pem;
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
*最后更新:2026-07-03 · 基于真实操作记录*
|
||||
@@ -0,0 +1,155 @@
|
||||
|
||||
把 软件测试执行记录CS-ST-REC-20251106.xlsx 这个文件里的所有sheet的**执行日期** 这一列,按照以下规则修改:
|
||||
2024-05-20 改成 2025-11-04
|
||||
2024-05-21 改成 2025-11-05
|
||||
2024-05-22 改成 2025-11-06
|
||||
|
||||
|
||||
把 软件单元测试执行记录DYCS-REC-20251028.xlsx 这个文件里的所有sheet的**执行日期** 这一列,按照以下规则修改:
|
||||
2024-05-12 改成 2025-10-27
|
||||
2024-05-13 改成 2025-10-28
|
||||
|
||||
|
||||
工作目录下,有非常多的github仓库, 我经常需要手工进入每个仓库,执行 git pull 操作.
|
||||
你帮我写一个python脚本,我在命令行执行。
|
||||
脚本逐一进入每个目录,执行git pull操作。不需要进入再下一级的子目录,为了防止出错,进入某个目录执行pull操作之前,看看目录是不是一个git仓库(存在.git 目录)。
|
||||
**只有当前目录的git pull成功之后,才进入下一个仓库 git pull, pull的状态,你能知道吗??成功,失败,完成等状态?**。
|
||||
github连接非常不稳定,失败是正常的,因此需要有重试机制,每次重试不少于5次~
|
||||
|
||||
我上述要求和需求,是否清晰,有问题的话,请回答!!
|
||||
|
||||
|
||||
---
|
||||
|
||||
移除图片上的文字,但是要求背景看不出被扣的痕迹
|
||||
|
||||
|
||||
使用以下风格,转换图片,背景改成草原:
|
||||
|
||||
3.卡娜赫拉風格
|
||||
4.角落小夥伴風格
|
||||
5.動物森友會風格
|
||||
16.妖精的尾巴風格
|
||||
28.五等分的新娘風格
|
||||
30.魔法少女小圓風格
|
||||
|
||||
|
||||
|
||||
使用以下风格,转换图片,背景改成草原:
|
||||
|
||||
5.動物森友會風格
|
||||
16.妖精的尾巴風格
|
||||
28.五等分的新娘風格
|
||||
30.魔法少女小圓風格
|
||||
|
||||
|
||||
苹果公司成立50周年
|
||||
|
||||
从早期的#iPod到#iPhone的问世,我职业生涯中最具塑造性的几年都在那里度过。产品和团队会一直伴随着我。但更重要的是,苹果的思维方式也会一直伴随着我。
|
||||
|
||||
以下几点经验教训几十年来始终适用:
|
||||
|
||||
1) 以用户为中心,而非技术。问题不是“我们能制造什么?”,而是“什么问题真正重要?”
|
||||
|
||||
2) 专注至关重要。苹果的定义不仅在于它创造了什么,更在于它拒绝了什么。
|
||||
|
||||
3) 端到端至关重要。硬件、软件、服务,所有环节都必须协同运作。
|
||||
|
||||
4) 细节决定成败。用户记住的往往是那些看似微不足道的细节。
|
||||
|
||||
5) 深入探讨,全力以赴。
|
||||
|
||||
6) 着眼长远。
|
||||
|
||||
我们正处于又一个技术变革的时代。但基本原理并未改变。
|
||||
|
||||
成功的公司会制造出人们真正使用且无法想象没有它的生活的产品。
|
||||
|
||||
祝贺所有参与苹果公司成立50周年的人们!
|
||||
|
||||
|
||||
---
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
现在我们用这个链接 https://www.tohoku.ac.jp/en/press/gossiping_mushroom_networks_share_public_urination_secrets.html,把其内容总结成文章,不要只是单纯的翻译,可以改写。使用 `baoyu-post-to-wechat` 技能发布公众号。要求:公众号标题头图是生成的,正文采用原文里面的图片,把原文图片下载到本地(我记得你一般是使用临时目录/tmp)。我看看博客和公众号是否都能有文章,现在所有结果是否都可以。
|
||||
|
||||
主题:这是一个KPMG关于未来ai智能技术发展趋势相关的内容,总结pdf的英文内容,提供一个合适的标题。
|
||||
页面风格:斑驳古朴发黄的宣纸纸张,纸张有裂痕,边框装饰中国传统的木纹窗格,窗格上有精心的花鸟雕刻,木纹和雕刻具有年代感,略显破旧。
|
||||
页面内容:提取核心内容,形成不少于15页的PPT,PPT上的文字可以丰富一些,不要过于偏离图片的本意。内容可以结合中国传统文化进行一定的展开。每一个主题需要配图,配图符合主题的需要,并且色彩和风格符合页面的整体风格。
|
||||
|
||||
|
||||
主题:毕达哥拉斯《数论》 书评。
|
||||
页面风格:斑驳古朴的纸张,边框装饰中国传统的纤细木纹窗格,窗格上有粗糙的花鸟树木雕刻。字体深黑色。
|
||||
页面内容:根据 毕达哥拉斯《数论》 这本书的核心观点提炼,观点需要足够详细。每个核心观点需要配图,配图符合主题的需要,并且色彩和风格符合页面的整体风格。
|
||||
|
||||
|
||||
|
||||
|
||||
主题:个人简历。
|
||||
页面风格:职场女性喜欢的青春靓丽的风格。
|
||||
页面内容:提取word核心内容,形成10页左右,PPT上的文字可以丰富一些,不要过于偏离word文档的原意。每一个主题需要配图,配图符合主题的需要,并且色彩和风格符合页面的整体风格。
|
||||
|
||||
移除图片上的文字,但是要求背景看不出被扣的痕迹
|
||||
|
||||
使用以下风格,转换图片,背景改成草原:
|
||||
|
||||
4.角落小夥伴風格
|
||||
5.動物森友會風格
|
||||
16.妖精的尾巴風格
|
||||
28.五等分的新娘風格
|
||||
30.魔法少女小圓風格
|
||||
|
||||
---
|
||||
|
||||
主题:这是一个关于加密货币的话题,提炼内容并提供一个合适的标题。
|
||||
页面风格:斑驳古朴发黄的宣纸纸张,纸张有裂痕,边框装饰中国传统的木纹窗格,窗格上有精心的花鸟雕刻,木纹和雕刻具有年代感,略显破旧。
|
||||
页面内容:深入理解下述大段文章的含义,基于内容,形成不少于15页的PPT,PPT上的文字可以丰富一些,不要过于偏离图片的本意。每一个主题需要配图,配图色彩和风格尽可能符合页面的整体风格。
|
||||
因为纸张发黄,字体颜色可以深一点(墨水的颜色),粗一点。如果可以采用颜真卿的楷体,则使用,否则可以使用标准的楷体。
|
||||
|
||||
# 文章链接: https://a16zcrypto.com/posts/article/privacy-trends-moats-quantum-data-testing/
|
||||
这个文章的核心观点: 2026年隐私领域四大核心趋势:从加密到基建的深度革新
|
||||
a16z crypto等机构及行业领袖联合发布的2026年隐私趋势观察,围绕加密货币、通讯应用、数据基础设施及安全测试四大核心领域,揭示了隐私保护从“附加功能”向“核心支柱”的转型逻辑,为行业发展指明了方向。
|
||||
|
||||
|
||||
|
||||
“Modern luxury is the ability to think clearly, sleep deeply, move slowly, and live quietly in a world designed to prevent all four”
|
||||
|
||||
— Justin Welsh
|
||||
|
||||
|
||||
---
|
||||
|
||||
|
||||
假如我是做试管婴儿业务的人,我会养小红书账号很多个(比如20个),通过这些账号,批量地向小红书的各种试管婴儿相关的主贴下面的回帖,进行回复和跟帖。回复和跟帖核心内容是,隐晦地或者明确地介绍我公司试管业务的安全可靠甚至联系方式。
|
||||
所以,这里有几个问题:
|
||||
1、我们需要改造小红书技能的流程,支持运营多账号。
|
||||
2、若干个跟帖,轮询查询回复不现实。
|
||||
3、如何解决看回帖的问题。
|
||||
4、因为回帖不一定是同一天发起的,如何解决重复回帖,和防止我的跟帖集中在部分主贴下面。
|
||||
|
||||
---
|
||||
|
||||
以上问题,我们先探讨方案,先不实现。
|
||||
|
||||
|
||||
---
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -0,0 +1,121 @@
|
||||
nanobot onboard --config ~/.nanobot2/config.json --workspace ~/.nanobot2/workspace
|
||||
|
||||
|
||||
|
||||
|
||||
sk-uTkcZNbajVvVDmcH4Jz1iazEBVsKuvxlucpCejeeQesjWBEm
|
||||
|
||||
|
||||
|
||||
sudo npm install -g @whiskeysockets/baileys
|
||||
|
||||
|
||||
以下4个链接,是我之前的网站的资讯类文章的链接,这些链接包含不少文章列表,因为我们已经实现了采集资讯的功能。
|
||||
基于我们的能力,你实现一个脚本工具,逐一批量采集下述4个链接里的所有文章 (分析待采集链接的结构,再写脚本,再找一个具体的文章,测试采集,没有问题,则进行完整的采集流程);
|
||||
|
||||
我已经在当前项目里,创建了相应的栏目,即: 科普文章 肾友 糖友 健康;
|
||||
需要将相应的文件,归类到正确的栏目;
|
||||
需要采集文章里的所有图片,并保存到我们的本地图片目录;
|
||||
链接列表里面含有封面图片,直接将其作为我们这个项目的资讯文章封面图;
|
||||
采集下来的文章格式,使用markdown;
|
||||
采集的文章直接设置成“发布”状态,而不是“草稿”状态;
|
||||
|
||||
|
||||
科普文章
|
||||
https://niaodaifu.cn/health-information?menu_id=15
|
||||
|
||||
肾友
|
||||
https://niaodaifu.cn/health-information?menu_id=7
|
||||
|
||||
糖友
|
||||
https://niaodaifu.cn/health-information?menu_id=8
|
||||
|
||||
健康
|
||||
https://niaodaifu.cn/health-information?menu_id=6
|
||||
|
||||
|
||||
---
|
||||
|
||||
你仔细分析我的需求,做出详细计划,逐步执行你的计划。如果有问题,则反问我。
|
||||
|
||||
|
||||
---
|
||||
|
||||
|
||||
|
||||
|
||||
请分析以下两个开源项目,
|
||||
https://github.com/HKUDS/CLI-Anything
|
||||
https://github.com/jackwener/opencli
|
||||
如果我想把某个网站,做成一个ai 方便调用的CLI
|
||||
使用哪一个开源库更方便
|
||||
|
||||
比如我想把这个CRM系统做成CLI
|
||||
https://fumamx.com/#/login
|
||||
|
||||
最终我的目的,cli工具使用导出的cookie,登录这个网站,搜索我要的客户信息。
|
||||
|
||||
|
||||
|
||||
你讲了## 工作原理
|
||||
|
||||
1. **Cookie 模式**:复用浏览器登录态,直接调用 API
|
||||
2. **Browser 模式**:通过 CDP 控制真实浏览器,模拟用户操作
|
||||
3. **生成模式**:`explore` 分析网站 → `synthesize` 推导接口 → `generate` 生成适配器
|
||||
|
||||
---
|
||||
|
||||
比如我给你一个网站,提供一个Cookie , 你就可能实现**生成新适配器** ?????
|
||||
|
||||
| **生成新适配器** | `explore → synthesize → generate` 从真实页面推导 CLI |
|
||||
|
||||
|
||||
|
||||
https://www.fumamx.com/#/login
|
||||
showmin.zhou@163.com
|
||||
Kingc.83695910
|
||||
|
||||
|
||||
你们可以登录我的这个地址,体验一下,用户名/密码 admin abcd1234
|
||||
http://129.211.173.87:10000/#/login
|
||||
|
||||
|
||||
|
||||
---
|
||||
|
||||
/home/ubuntu/.local/share/uv/tools/nanobot-ai/bin/python3 /home/ubuntu/.local/bin/nanobot gateway --config /home/ubuntu/.nanobot2/config.json --port 18796
|
||||
|
||||
|
||||
|
||||
# 个人 Telegram Bot
|
||||
nanobot onboard --config ~/.nanobot2/config.json --workspace ~/.nanobot2/workspace --port 18796
|
||||
|
||||
# 工作 Slack Bot
|
||||
nanobot onboard --config ~/.nanobot-work/config.json \
|
||||
--workspace ~/.nanobot-work/workspace
|
||||
|
||||
|
||||
|
||||
nanobot gateway --config ~/.nanobot2/config.json --port 18796
|
||||
|
||||
|
||||
nanobot gateway --config ~/.nanobot-work/config.json
|
||||
|
||||
|
||||
nanobot onboard --config ~/.nanobot2/config.json --workspace ~/.nanobot2/workspace
|
||||
|
||||
|
||||
你的系统服务,被 nanobot2这个家伙错误地改名了。。。。。。
|
||||
|
||||
所以,你需要做两件事。
|
||||
1、将之前属于你的nanobot-gateway.service里面的内容,路径和命令,指向你的/home/ubuntu/.nanobot 。
|
||||
2、帮我做一个新的系统服务nanobot-gateway2.service,指向- 基于 `/home/ubuntu/.nanobot2` - 端口 18796 。
|
||||
我手动 运行nanobot2的方式是: nanobot gateway --config ~/.nanobot-personal/config.json --port 18796
|
||||
|
||||
---
|
||||
|
||||
**你理解我的问题吗?? 请自行分析,并回答我**
|
||||
|
||||
|
||||
|
||||
|
||||
Reference in New Issue
Block a user