Files
Obsidian/MyBestNanobot/Nanobot it资讯自动化项目的核心实现原理和架构设计.md
coco 8b94d76799 a
2026-07-21 13:57:15 +08:00

266 lines
7.9 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
这是一个很好的架构问题!让我详细解释it资讯自动化项目的**核心实现原理和架构设计**:
## 🏗️ **整体架构:管道-过滤器模式 (Pipeline-Filter)**
```
┌─────────────────────────────────────────────────────────────┐
│ 主调度器 (Scheduler) │
│ 协调各组件按顺序执行,处理状态流转 │
└──────────────┬──────────────────────────────────────────────┘
│
┌──────────┴──────────┐
▼ ▼
┌─────────────┐ ┌──────────────┐
│ 网页抓取器 │───▶│ 内容处理器 │
│ (Crawler) │ │ (AI Processor)│
└─────────────┘ └──────┬───────┘
│
┌─────────────────┼─────────────────┐
▼ ▼ ▼
┌──────────┐ ┌──────────┐ ┌──────────┐
│ 邮件 │ │ 小红书 │ │ 数据库 │
│ 发送器 │ │ 发布器 │ │ 状态记录 │
└──────────┘ └──────────┘ └──────────┘
```
---
## 🔧 **核心组件详解**
### **1. 调度器 (Scheduler) - 总指挥**
```bash
# 主调度脚本:main_scheduler_complete.sh
步骤1: 系统检查 (环境、依赖)
步骤2: 网页抓取 (多网站并行)
步骤3: 获取未处理文章 (数据库查询)
步骤4: AI处理 (翻译+总结)
步骤5: 邮件发送 (带ZIP附件)
步骤6: 小红书发布 (多图轮播)
步骤7: 更新状态 (标记已处理)
步骤8: 清理和统计 (日志清理)
```
**关键设计**:每个步骤都有**输入校验**和**错误处理**,失败时可以跳过或重试。
---
### **2. 网页抓取器 (Crawler) - 数据采集**
```python
# 核心逻辑
for website in config.websites:
articles = crawl_website(website)
for article in articles:
if is_new(article) and is_valid(article):
save_to_database(article)
mark_as_unprocessed(article)
```
**技术要点**:
- **去重机制**:URL+标题哈希去重
- **内容过滤**:字数、时间范围筛选
- **反爬处理**:User-Agent轮换、请求延迟
---
### **3. 内容处理器 (AI Processor) - 智能处理**
```python
class AIProcessor:
def process_article(self, article):
# 1. 翻译标题
chinese_title = self.translate(article.title)
# 2. 总结内容
summary = self.summarize(article.content)
# 3. 去AI化
humanized = self.humanize(summary)
return {
'title': chinese_title,
'content': humanized,
'tags': self.extract_tags(summary)
}
```
**模型配置策略**(你要求的):
- 从nanobot主配置读取当前模型
- 自动适配不同API格式(OpenAI/DeepSeek/Moonshot等)
---
### **4. 邮件发送器 (Email Sender) - 分发**
```python
def send_daily_digest(article_data, markdown_content):
# 1. 创建ZIP包(老流程格式)
zip_path = create_zip_package(article_data, markdown_content)
# 2. 发送邮件
send_email(
to=config.email.to_email,
subject=f"IT资讯日报 - {today}",
body=summary,
attachments=[zip_path]
)
```
**兼容设计**:保持和老流程一致的目录结构(`article_7/` + `images/`)
---
### **5. 小红书发布器 (XHS Publisher) - 社交传播**
```python
def publish_to_xiaohongshu(content, images):
# 1. 文本分页(长文分多张图片)
pages = split_text_to_pages(content)
# 2. 生成图片(不同风格)
for i, page in enumerate(pages):
image = create_text_image(
content=page,
style="tech" if is_tech_article else "warm"
)
# 3. 发布笔记
xhs_cli.post(
title=content.title,
body=content.body,
images=image_paths
)
```
---
## 📊 **状态管理:数据库驱动**
### **状态流转图**
```
┌─────────┐ ┌──────────┐ ┌──────────┐ ┌──────────┐
│ crawled │───▶│processed │───▶│emailed │───▶│published │
│ (已抓取)│ │(AI已处理)│ │(邮件已发)│ │(小红书发)│
└─────────┘ └──────────┘ └──────────┘ └──────────┘
```
### **数据库表设计**
```sql
CREATE TABLE articles (
id INTEGER PRIMARY KEY,
title TEXT,
url TEXT UNIQUE, -- 去重关键
source TEXT,
content TEXT,
word_count INTEGER,
-- 状态字段
processed BOOLEAN DEFAULT 0,
email_status BOOLEAN DEFAULT 0,
xhs_status BOOLEAN DEFAULT 0,
-- 处理结果
chinese_title TEXT,
summary TEXT,
tags TEXT,
created_at TIMESTAMP,
processed_at TIMESTAMP
);
```
---
## 🔄 **工作流程编排**
### **Cron定时触发**
```cron
# 每天16:00执行
0 16 * * * /bin/bash /path/to/main_scheduler_complete.sh
```
### **执行流程**
```bash
#!/bin/bash
set -e # 错误时退出(可配置)
# 日志记录
exec 1> >(tee -a "$LOG_FILE")
exec 2>&1
# 步骤1: 环境检查
check_environment || exit 1
# 步骤2: 抓取(可能产出多篇文章)
articles=$(crawl_articles)
[ -z "$articles" ] && log "无新文章" && exit 0
# 步骤3-7: 处理每篇文章
for article in $articles; do
process_article "$article"
send_email "$article"
publish_xhs "$article"
update_status "$article"
done
# 步骤8: 清理
cleanup_old_logs
```
---
## 🛡️ **错误处理策略**
### **分级处理**
| 错误级别 | 处理方式 | 示例 |
|---------|---------|------|
| **致命** | 停止执行 | 数据库连接失败 |
| **重要** | 跳过当前,继续 | 单篇文章AI处理失败 |
| **警告** | 记录日志,继续 | 邮件发送超时 |
| **提示** | 静默处理 | 图片生成使用默认 |
### **重试机制**
```python
@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=4, max=10))
def call_ai_api(prompt):
# 失败时自动重试3次,指数退避
return api_client.chat.completions.create(...)
```
---
## 🎯 **核心设计原则**
### **1. 配置驱动**
- 所有参数可配置(网站列表、模型选择、定时时间)
- 不改代码即可调整行为
### **2. 幂等性**
- 同一文章多次处理不会产生重复邮件/笔记
- 数据库URL唯一约束保证
### **3. 可观测性**
- 每个步骤都有详细日志
- 数据库记录完整状态
- 执行报告生成
### **4. 可扩展性**
- 新增网站:修改配置即可
- 新增输出渠道:增加新Processor
- 更换AI模型:修改配置自动适配
---
## 📈 **实际运行效果**
```
[16:00:00] 开始执行
[16:00:15] 抓取完成: 20篇文章
[16:00:30] AI处理: 4篇通过字数筛选
[16:01:45] 邮件发送成功 (4篇)
[16:02:30] 小红书发布成功 (4篇)
[16:02:35] 更新状态完成
[16:02:40] 执行完成
```
---
**总结**:这个系统的核心是**"调度器协调多个独立处理器,通过数据库状态驱动,实现端到端的自动化内容生产与分发流水线"**。
你想深入了解哪个组件的实现细节?比如AI处理的具体Prompt设计,或者小红书发布的图片生成算法?🐈