266 lines
7.9 KiB
Markdown
266 lines
7.9 KiB
Markdown
这是一个很好的架构问题!让我详细解释it资讯自动化项目的**核心实现原理和架构设计**:
|
||
|
||
## 🏗️ **整体架构:管道-过滤器模式 (Pipeline-Filter)**
|
||
|
||
```
|
||
┌─────────────────────────────────────────────────────────────┐
|
||
│ 主调度器 (Scheduler) │
|
||
│ 协调各组件按顺序执行,处理状态流转 │
|
||
└──────────────┬──────────────────────────────────────────────┘
|
||
│
|
||
┌──────────┴──────────┐
|
||
▼ ▼
|
||
┌─────────────┐ ┌──────────────┐
|
||
│ 网页抓取器 │───▶│ 内容处理器 │
|
||
│ (Crawler) │ │ (AI Processor)│
|
||
└─────────────┘ └──────┬───────┘
|
||
│
|
||
┌─────────────────┼─────────────────┐
|
||
▼ ▼ ▼
|
||
┌──────────┐ ┌──────────┐ ┌──────────┐
|
||
│ 邮件 │ │ 小红书 │ │ 数据库 │
|
||
│ 发送器 │ │ 发布器 │ │ 状态记录 │
|
||
└──────────┘ └──────────┘ └──────────┘
|
||
```
|
||
|
||
---
|
||
|
||
## 🔧 **核心组件详解**
|
||
|
||
### **1. 调度器 (Scheduler) - 总指挥**
|
||
```bash
|
||
# 主调度脚本:main_scheduler_complete.sh
|
||
步骤1: 系统检查 (环境、依赖)
|
||
步骤2: 网页抓取 (多网站并行)
|
||
步骤3: 获取未处理文章 (数据库查询)
|
||
步骤4: AI处理 (翻译+总结)
|
||
步骤5: 邮件发送 (带ZIP附件)
|
||
步骤6: 小红书发布 (多图轮播)
|
||
步骤7: 更新状态 (标记已处理)
|
||
步骤8: 清理和统计 (日志清理)
|
||
```
|
||
|
||
**关键设计**:每个步骤都有**输入校验**和**错误处理**,失败时可以跳过或重试。
|
||
|
||
---
|
||
|
||
### **2. 网页抓取器 (Crawler) - 数据采集**
|
||
```python
|
||
# 核心逻辑
|
||
for website in config.websites:
|
||
articles = crawl_website(website)
|
||
for article in articles:
|
||
if is_new(article) and is_valid(article):
|
||
save_to_database(article)
|
||
mark_as_unprocessed(article)
|
||
```
|
||
|
||
**技术要点**:
|
||
- **去重机制**:URL+标题哈希去重
|
||
- **内容过滤**:字数、时间范围筛选
|
||
- **反爬处理**:User-Agent轮换、请求延迟
|
||
|
||
---
|
||
|
||
### **3. 内容处理器 (AI Processor) - 智能处理**
|
||
```python
|
||
class AIProcessor:
|
||
def process_article(self, article):
|
||
# 1. 翻译标题
|
||
chinese_title = self.translate(article.title)
|
||
|
||
# 2. 总结内容
|
||
summary = self.summarize(article.content)
|
||
|
||
# 3. 去AI化
|
||
humanized = self.humanize(summary)
|
||
|
||
return {
|
||
'title': chinese_title,
|
||
'content': humanized,
|
||
'tags': self.extract_tags(summary)
|
||
}
|
||
```
|
||
|
||
**模型配置策略**(你要求的):
|
||
- 从nanobot主配置读取当前模型
|
||
- 自动适配不同API格式(OpenAI/DeepSeek/Moonshot等)
|
||
|
||
---
|
||
|
||
### **4. 邮件发送器 (Email Sender) - 分发**
|
||
```python
|
||
def send_daily_digest(article_data, markdown_content):
|
||
# 1. 创建ZIP包(老流程格式)
|
||
zip_path = create_zip_package(article_data, markdown_content)
|
||
|
||
# 2. 发送邮件
|
||
send_email(
|
||
to=config.email.to_email,
|
||
subject=f"IT资讯日报 - {today}",
|
||
body=summary,
|
||
attachments=[zip_path]
|
||
)
|
||
```
|
||
|
||
**兼容设计**:保持和老流程一致的目录结构(`article_7/` + `images/`)
|
||
|
||
---
|
||
|
||
### **5. 小红书发布器 (XHS Publisher) - 社交传播**
|
||
```python
|
||
def publish_to_xiaohongshu(content, images):
|
||
# 1. 文本分页(长文分多张图片)
|
||
pages = split_text_to_pages(content)
|
||
|
||
# 2. 生成图片(不同风格)
|
||
for i, page in enumerate(pages):
|
||
image = create_text_image(
|
||
content=page,
|
||
style="tech" if is_tech_article else "warm"
|
||
)
|
||
|
||
# 3. 发布笔记
|
||
xhs_cli.post(
|
||
title=content.title,
|
||
body=content.body,
|
||
images=image_paths
|
||
)
|
||
```
|
||
|
||
---
|
||
|
||
## 📊 **状态管理:数据库驱动**
|
||
|
||
### **状态流转图**
|
||
```
|
||
┌─────────┐ ┌──────────┐ ┌──────────┐ ┌──────────┐
|
||
│ crawled │───▶│processed │───▶│emailed │───▶│published │
|
||
│ (已抓取)│ │(AI已处理)│ │(邮件已发)│ │(小红书发)│
|
||
└─────────┘ └──────────┘ └──────────┘ └──────────┘
|
||
```
|
||
|
||
### **数据库表设计**
|
||
```sql
|
||
CREATE TABLE articles (
|
||
id INTEGER PRIMARY KEY,
|
||
title TEXT,
|
||
url TEXT UNIQUE, -- 去重关键
|
||
source TEXT,
|
||
content TEXT,
|
||
word_count INTEGER,
|
||
|
||
-- 状态字段
|
||
processed BOOLEAN DEFAULT 0,
|
||
email_status BOOLEAN DEFAULT 0,
|
||
xhs_status BOOLEAN DEFAULT 0,
|
||
|
||
-- 处理结果
|
||
chinese_title TEXT,
|
||
summary TEXT,
|
||
tags TEXT,
|
||
|
||
created_at TIMESTAMP,
|
||
processed_at TIMESTAMP
|
||
);
|
||
```
|
||
|
||
---
|
||
|
||
## 🔄 **工作流程编排**
|
||
|
||
### **Cron定时触发**
|
||
```cron
|
||
# 每天16:00执行
|
||
0 16 * * * /bin/bash /path/to/main_scheduler_complete.sh
|
||
```
|
||
|
||
### **执行流程**
|
||
```bash
|
||
#!/bin/bash
|
||
set -e # 错误时退出(可配置)
|
||
|
||
# 日志记录
|
||
exec 1> >(tee -a "$LOG_FILE")
|
||
exec 2>&1
|
||
|
||
# 步骤1: 环境检查
|
||
check_environment || exit 1
|
||
|
||
# 步骤2: 抓取(可能产出多篇文章)
|
||
articles=$(crawl_articles)
|
||
[ -z "$articles" ] && log "无新文章" && exit 0
|
||
|
||
# 步骤3-7: 处理每篇文章
|
||
for article in $articles; do
|
||
process_article "$article"
|
||
send_email "$article"
|
||
publish_xhs "$article"
|
||
update_status "$article"
|
||
done
|
||
|
||
# 步骤8: 清理
|
||
cleanup_old_logs
|
||
```
|
||
|
||
---
|
||
|
||
## 🛡️ **错误处理策略**
|
||
|
||
### **分级处理**
|
||
| 错误级别 | 处理方式 | 示例 |
|
||
|---------|---------|------|
|
||
| **致命** | 停止执行 | 数据库连接失败 |
|
||
| **重要** | 跳过当前,继续 | 单篇文章AI处理失败 |
|
||
| **警告** | 记录日志,继续 | 邮件发送超时 |
|
||
| **提示** | 静默处理 | 图片生成使用默认 |
|
||
|
||
### **重试机制**
|
||
```python
|
||
@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=4, max=10))
|
||
def call_ai_api(prompt):
|
||
# 失败时自动重试3次,指数退避
|
||
return api_client.chat.completions.create(...)
|
||
```
|
||
|
||
---
|
||
|
||
## 🎯 **核心设计原则**
|
||
|
||
### **1. 配置驱动**
|
||
- 所有参数可配置(网站列表、模型选择、定时时间)
|
||
- 不改代码即可调整行为
|
||
|
||
### **2. 幂等性**
|
||
- 同一文章多次处理不会产生重复邮件/笔记
|
||
- 数据库URL唯一约束保证
|
||
|
||
### **3. 可观测性**
|
||
- 每个步骤都有详细日志
|
||
- 数据库记录完整状态
|
||
- 执行报告生成
|
||
|
||
### **4. 可扩展性**
|
||
- 新增网站:修改配置即可
|
||
- 新增输出渠道:增加新Processor
|
||
- 更换AI模型:修改配置自动适配
|
||
|
||
---
|
||
|
||
## 📈 **实际运行效果**
|
||
|
||
```
|
||
[16:00:00] 开始执行
|
||
[16:00:15] 抓取完成: 20篇文章
|
||
[16:00:30] AI处理: 4篇通过字数筛选
|
||
[16:01:45] 邮件发送成功 (4篇)
|
||
[16:02:30] 小红书发布成功 (4篇)
|
||
[16:02:35] 更新状态完成
|
||
[16:02:40] 执行完成
|
||
```
|
||
|
||
---
|
||
|
||
**总结**:这个系统的核心是**"调度器协调多个独立处理器,通过数据库状态驱动,实现端到端的自动化内容生产与分发流水线"**。
|
||
|
||
你想深入了解哪个组件的实现细节?比如AI处理的具体Prompt设计,或者小红书发布的图片生成算法?🐈 |