这是一个很好的架构问题!让我详细解释it资讯自动化项目的**核心实现原理和架构设计**: ## 🏗️ **整体架构:管道-过滤器模式 (Pipeline-Filter)** ``` ┌─────────────────────────────────────────────────────────────┐ │ 主调度器 (Scheduler) │ │ 协调各组件按顺序执行,处理状态流转 │ └──────────────┬──────────────────────────────────────────────┘ │ ┌──────────┴──────────┐ ▼ ▼ ┌─────────────┐ ┌──────────────┐ │ 网页抓取器 │───▶│ 内容处理器 │ │ (Crawler) │ │ (AI Processor)│ └─────────────┘ └──────┬───────┘ │ ┌─────────────────┼─────────────────┐ ▼ ▼ ▼ ┌──────────┐ ┌──────────┐ ┌──────────┐ │ 邮件 │ │ 小红书 │ │ 数据库 │ │ 发送器 │ │ 发布器 │ │ 状态记录 │ └──────────┘ └──────────┘ └──────────┘ ``` --- ## 🔧 **核心组件详解** ### **1. 调度器 (Scheduler) - 总指挥** ```bash # 主调度脚本:main_scheduler_complete.sh 步骤1: 系统检查 (环境、依赖) 步骤2: 网页抓取 (多网站并行) 步骤3: 获取未处理文章 (数据库查询) 步骤4: AI处理 (翻译+总结) 步骤5: 邮件发送 (带ZIP附件) 步骤6: 小红书发布 (多图轮播) 步骤7: 更新状态 (标记已处理) 步骤8: 清理和统计 (日志清理) ``` **关键设计**:每个步骤都有**输入校验**和**错误处理**,失败时可以跳过或重试。 --- ### **2. 网页抓取器 (Crawler) - 数据采集** ```python # 核心逻辑 for website in config.websites: articles = crawl_website(website) for article in articles: if is_new(article) and is_valid(article): save_to_database(article) mark_as_unprocessed(article) ``` **技术要点**: - **去重机制**:URL+标题哈希去重 - **内容过滤**:字数、时间范围筛选 - **反爬处理**:User-Agent轮换、请求延迟 --- ### **3. 内容处理器 (AI Processor) - 智能处理** ```python class AIProcessor: def process_article(self, article): # 1. 翻译标题 chinese_title = self.translate(article.title) # 2. 总结内容 summary = self.summarize(article.content) # 3. 去AI化 humanized = self.humanize(summary) return { 'title': chinese_title, 'content': humanized, 'tags': self.extract_tags(summary) } ``` **模型配置策略**(你要求的): - 从nanobot主配置读取当前模型 - 自动适配不同API格式(OpenAI/DeepSeek/Moonshot等) --- ### **4. 邮件发送器 (Email Sender) - 分发** ```python def send_daily_digest(article_data, markdown_content): # 1. 创建ZIP包(老流程格式) zip_path = create_zip_package(article_data, markdown_content) # 2. 发送邮件 send_email( to=config.email.to_email, subject=f"IT资讯日报 - {today}", body=summary, attachments=[zip_path] ) ``` **兼容设计**:保持和老流程一致的目录结构(`article_7/` + `images/`) --- ### **5. 小红书发布器 (XHS Publisher) - 社交传播** ```python def publish_to_xiaohongshu(content, images): # 1. 文本分页(长文分多张图片) pages = split_text_to_pages(content) # 2. 生成图片(不同风格) for i, page in enumerate(pages): image = create_text_image( content=page, style="tech" if is_tech_article else "warm" ) # 3. 发布笔记 xhs_cli.post( title=content.title, body=content.body, images=image_paths ) ``` --- ## 📊 **状态管理:数据库驱动** ### **状态流转图** ``` ┌─────────┐ ┌──────────┐ ┌──────────┐ ┌──────────┐ │ crawled │───▶│processed │───▶│emailed │───▶│published │ │ (已抓取)│ │(AI已处理)│ │(邮件已发)│ │(小红书发)│ └─────────┘ └──────────┘ └──────────┘ └──────────┘ ``` ### **数据库表设计** ```sql CREATE TABLE articles ( id INTEGER PRIMARY KEY, title TEXT, url TEXT UNIQUE, -- 去重关键 source TEXT, content TEXT, word_count INTEGER, -- 状态字段 processed BOOLEAN DEFAULT 0, email_status BOOLEAN DEFAULT 0, xhs_status BOOLEAN DEFAULT 0, -- 处理结果 chinese_title TEXT, summary TEXT, tags TEXT, created_at TIMESTAMP, processed_at TIMESTAMP ); ``` --- ## 🔄 **工作流程编排** ### **Cron定时触发** ```cron # 每天16:00执行 0 16 * * * /bin/bash /path/to/main_scheduler_complete.sh ``` ### **执行流程** ```bash #!/bin/bash set -e # 错误时退出(可配置) # 日志记录 exec 1> >(tee -a "$LOG_FILE") exec 2>&1 # 步骤1: 环境检查 check_environment || exit 1 # 步骤2: 抓取(可能产出多篇文章) articles=$(crawl_articles) [ -z "$articles" ] && log "无新文章" && exit 0 # 步骤3-7: 处理每篇文章 for article in $articles; do process_article "$article" send_email "$article" publish_xhs "$article" update_status "$article" done # 步骤8: 清理 cleanup_old_logs ``` --- ## 🛡️ **错误处理策略** ### **分级处理** | 错误级别 | 处理方式 | 示例 | |---------|---------|------| | **致命** | 停止执行 | 数据库连接失败 | | **重要** | 跳过当前,继续 | 单篇文章AI处理失败 | | **警告** | 记录日志,继续 | 邮件发送超时 | | **提示** | 静默处理 | 图片生成使用默认 | ### **重试机制** ```python @retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=4, max=10)) def call_ai_api(prompt): # 失败时自动重试3次,指数退避 return api_client.chat.completions.create(...) ``` --- ## 🎯 **核心设计原则** ### **1. 配置驱动** - 所有参数可配置(网站列表、模型选择、定时时间) - 不改代码即可调整行为 ### **2. 幂等性** - 同一文章多次处理不会产生重复邮件/笔记 - 数据库URL唯一约束保证 ### **3. 可观测性** - 每个步骤都有详细日志 - 数据库记录完整状态 - 执行报告生成 ### **4. 可扩展性** - 新增网站:修改配置即可 - 新增输出渠道:增加新Processor - 更换AI模型:修改配置自动适配 --- ## 📈 **实际运行效果** ``` [16:00:00] 开始执行 [16:00:15] 抓取完成: 20篇文章 [16:00:30] AI处理: 4篇通过字数筛选 [16:01:45] 邮件发送成功 (4篇) [16:02:30] 小红书发布成功 (4篇) [16:02:35] 更新状态完成 [16:02:40] 执行完成 ``` --- **总结**:这个系统的核心是**"调度器协调多个独立处理器,通过数据库状态驱动,实现端到端的自动化内容生产与分发流水线"**。 你想深入了解哪个组件的实现细节?比如AI处理的具体Prompt设计,或者小红书发布的图片生成算法?🐈