7.9 KiB
7.9 KiB
这是一个很好的架构问题!让我详细解释it资讯自动化项目的核心实现原理和架构设计:
🏗️ 整体架构:管道-过滤器模式 (Pipeline-Filter)
┌─────────────────────────────────────────────────────────────┐
│ 主调度器 (Scheduler) │
│ 协调各组件按顺序执行,处理状态流转 │
└──────────────┬──────────────────────────────────────────────┘
│
┌──────────┴──────────┐
▼ ▼
┌─────────────┐ ┌──────────────┐
│ 网页抓取器 │───▶│ 内容处理器 │
│ (Crawler) │ │ (AI Processor)│
└─────────────┘ └──────┬───────┘
│
┌─────────────────┼─────────────────┐
▼ ▼ ▼
┌──────────┐ ┌──────────┐ ┌──────────┐
│ 邮件 │ │ 小红书 │ │ 数据库 │
│ 发送器 │ │ 发布器 │ │ 状态记录 │
└──────────┘ └──────────┘ └──────────┘
🔧 核心组件详解
1. 调度器 (Scheduler) - 总指挥
# 主调度脚本:main_scheduler_complete.sh
步骤1: 系统检查 (环境、依赖)
步骤2: 网页抓取 (多网站并行)
步骤3: 获取未处理文章 (数据库查询)
步骤4: AI处理 (翻译+总结)
步骤5: 邮件发送 (带ZIP附件)
步骤6: 小红书发布 (多图轮播)
步骤7: 更新状态 (标记已处理)
步骤8: 清理和统计 (日志清理)
关键设计:每个步骤都有输入校验和错误处理,失败时可以跳过或重试。
2. 网页抓取器 (Crawler) - 数据采集
# 核心逻辑
for website in config.websites:
articles = crawl_website(website)
for article in articles:
if is_new(article) and is_valid(article):
save_to_database(article)
mark_as_unprocessed(article)
技术要点:
- 去重机制:URL+标题哈希去重
- 内容过滤:字数、时间范围筛选
- 反爬处理:User-Agent轮换、请求延迟
3. 内容处理器 (AI Processor) - 智能处理
class AIProcessor:
def process_article(self, article):
# 1. 翻译标题
chinese_title = self.translate(article.title)
# 2. 总结内容
summary = self.summarize(article.content)
# 3. 去AI化
humanized = self.humanize(summary)
return {
'title': chinese_title,
'content': humanized,
'tags': self.extract_tags(summary)
}
模型配置策略(你要求的):
- 从nanobot主配置读取当前模型
- 自动适配不同API格式(OpenAI/DeepSeek/Moonshot等)
4. 邮件发送器 (Email Sender) - 分发
def send_daily_digest(article_data, markdown_content):
# 1. 创建ZIP包(老流程格式)
zip_path = create_zip_package(article_data, markdown_content)
# 2. 发送邮件
send_email(
to=config.email.to_email,
subject=f"IT资讯日报 - {today}",
body=summary,
attachments=[zip_path]
)
兼容设计:保持和老流程一致的目录结构(article_7/ + images/)
5. 小红书发布器 (XHS Publisher) - 社交传播
def publish_to_xiaohongshu(content, images):
# 1. 文本分页(长文分多张图片)
pages = split_text_to_pages(content)
# 2. 生成图片(不同风格)
for i, page in enumerate(pages):
image = create_text_image(
content=page,
style="tech" if is_tech_article else "warm"
)
# 3. 发布笔记
xhs_cli.post(
title=content.title,
body=content.body,
images=image_paths
)
📊 状态管理:数据库驱动
状态流转图
┌─────────┐ ┌──────────┐ ┌──────────┐ ┌──────────┐
│ crawled │───▶│processed │───▶│emailed │───▶│published │
│ (已抓取)│ │(AI已处理)│ │(邮件已发)│ │(小红书发)│
└─────────┘ └──────────┘ └──────────┘ └──────────┘
数据库表设计
CREATE TABLE articles (
id INTEGER PRIMARY KEY,
title TEXT,
url TEXT UNIQUE, -- 去重关键
source TEXT,
content TEXT,
word_count INTEGER,
-- 状态字段
processed BOOLEAN DEFAULT 0,
email_status BOOLEAN DEFAULT 0,
xhs_status BOOLEAN DEFAULT 0,
-- 处理结果
chinese_title TEXT,
summary TEXT,
tags TEXT,
created_at TIMESTAMP,
processed_at TIMESTAMP
);
🔄 工作流程编排
Cron定时触发
# 每天16:00执行
0 16 * * * /bin/bash /path/to/main_scheduler_complete.sh
执行流程
#!/bin/bash
set -e # 错误时退出(可配置)
# 日志记录
exec 1> >(tee -a "$LOG_FILE")
exec 2>&1
# 步骤1: 环境检查
check_environment || exit 1
# 步骤2: 抓取(可能产出多篇文章)
articles=$(crawl_articles)
[ -z "$articles" ] && log "无新文章" && exit 0
# 步骤3-7: 处理每篇文章
for article in $articles; do
process_article "$article"
send_email "$article"
publish_xhs "$article"
update_status "$article"
done
# 步骤8: 清理
cleanup_old_logs
🛡️ 错误处理策略
分级处理
| 错误级别 | 处理方式 | 示例 |
|---|---|---|
| 致命 | 停止执行 | 数据库连接失败 |
| 重要 | 跳过当前,继续 | 单篇文章AI处理失败 |
| 警告 | 记录日志,继续 | 邮件发送超时 |
| 提示 | 静默处理 | 图片生成使用默认 |
重试机制
@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=4, max=10))
def call_ai_api(prompt):
# 失败时自动重试3次,指数退避
return api_client.chat.completions.create(...)
🎯 核心设计原则
1. 配置驱动
- 所有参数可配置(网站列表、模型选择、定时时间)
- 不改代码即可调整行为
2. 幂等性
- 同一文章多次处理不会产生重复邮件/笔记
- 数据库URL唯一约束保证
3. 可观测性
- 每个步骤都有详细日志
- 数据库记录完整状态
- 执行报告生成
4. 可扩展性
- 新增网站:修改配置即可
- 新增输出渠道:增加新Processor
- 更换AI模型:修改配置自动适配
📈 实际运行效果
[16:00:00] 开始执行
[16:00:15] 抓取完成: 20篇文章
[16:00:30] AI处理: 4篇通过字数筛选
[16:01:45] 邮件发送成功 (4篇)
[16:02:30] 小红书发布成功 (4篇)
[16:02:35] 更新状态完成
[16:02:40] 执行完成
总结:这个系统的核心是**"调度器协调多个独立处理器,通过数据库状态驱动,实现端到端的自动化内容生产与分发流水线"**。
你想深入了解哪个组件的实现细节?比如AI处理的具体Prompt设计,或者小红书发布的图片生成算法?🐈