Files
Obsidian/MyBestNanobot/Nanobot it资讯自动化项目的核心实现原理和架构设计.md
T
coco 8b94d76799 a
2026-07-21 13:57:15 +08:00

7.9 KiB
Raw Blame History

这是一个很好的架构问题!让我详细解释it资讯自动化项目的核心实现原理和架构设计:

🏗️ 整体架构:管道-过滤器模式 (Pipeline-Filter)

┌─────────────────────────────────────────────────────────────┐
│                     主调度器 (Scheduler)                      │
│              协调各组件按顺序执行,处理状态流转                 │
└──────────────┬──────────────────────────────────────────────┘
               │
    ┌──────────┴──────────┐
    ▼                     ▼
┌─────────────┐    ┌──────────────┐
│  网页抓取器  │───▶│  内容处理器   │
│  (Crawler)  │    │ (AI Processor)│
└─────────────┘    └──────┬───────┘
                          │
        ┌─────────────────┼─────────────────┐
        ▼                 ▼                 ▼
   ┌──────────┐    ┌──────────┐     ┌──────────┐
   │  邮件    │    │  小红书  │     │  数据库  │
   │ 发送器   │    │ 发布器   │     │ 状态记录 │
   └──────────┘    └──────────┘     └──────────┘

🔧 核心组件详解

1. 调度器 (Scheduler) - 总指挥

# 主调度脚本:main_scheduler_complete.sh
步骤1: 系统检查 (环境、依赖)
步骤2: 网页抓取 (多网站并行)
步骤3: 获取未处理文章 (数据库查询)
步骤4: AI处理 (翻译+总结)
步骤5: 邮件发送 (带ZIP附件)
步骤6: 小红书发布 (多图轮播)
步骤7: 更新状态 (标记已处理)
步骤8: 清理和统计 (日志清理)

关键设计:每个步骤都有输入校验和错误处理,失败时可以跳过或重试。


2. 网页抓取器 (Crawler) - 数据采集

# 核心逻辑
for website in config.websites:
    articles = crawl_website(website)
    for article in articles:
        if is_new(article) and is_valid(article):
            save_to_database(article)
            mark_as_unprocessed(article)

技术要点:

  • 去重机制:URL+标题哈希去重
  • 内容过滤:字数、时间范围筛选
  • 反爬处理:User-Agent轮换、请求延迟

3. 内容处理器 (AI Processor) - 智能处理

class AIProcessor:
    def process_article(self, article):
        # 1. 翻译标题
        chinese_title = self.translate(article.title)
        
        # 2. 总结内容
        summary = self.summarize(article.content)
        
        # 3. 去AI化
        humanized = self.humanize(summary)
        
        return {
            'title': chinese_title,
            'content': humanized,
            'tags': self.extract_tags(summary)
        }

模型配置策略(你要求的):

  • 从nanobot主配置读取当前模型
  • 自动适配不同API格式(OpenAI/DeepSeek/Moonshot等)

4. 邮件发送器 (Email Sender) - 分发

def send_daily_digest(article_data, markdown_content):
    # 1. 创建ZIP包(老流程格式)
    zip_path = create_zip_package(article_data, markdown_content)
    
    # 2. 发送邮件
    send_email(
        to=config.email.to_email,
        subject=f"IT资讯日报 - {today}",
        body=summary,
        attachments=[zip_path]
    )

兼容设计:保持和老流程一致的目录结构(article_7/ + images/)


5. 小红书发布器 (XHS Publisher) - 社交传播

def publish_to_xiaohongshu(content, images):
    # 1. 文本分页(长文分多张图片)
    pages = split_text_to_pages(content)
    
    # 2. 生成图片(不同风格)
    for i, page in enumerate(pages):
        image = create_text_image(
            content=page,
            style="tech" if is_tech_article else "warm"
        )
    
    # 3. 发布笔记
    xhs_cli.post(
        title=content.title,
        body=content.body,
        images=image_paths
    )

📊 状态管理:数据库驱动

状态流转图

┌─────────┐    ┌──────────┐    ┌──────────┐    ┌──────────┐
│ crawled │───▶│processed │───▶│emailed   │───▶│published │
│ (已抓取)│    │(AI已处理)│    │(邮件已发)│    │(小红书发)│
└─────────┘    └──────────┘    └──────────┘    └──────────┘

数据库表设计

CREATE TABLE articles (
    id INTEGER PRIMARY KEY,
    title TEXT,
    url TEXT UNIQUE,  -- 去重关键
    source TEXT,
    content TEXT,
    word_count INTEGER,
    
    -- 状态字段
    processed BOOLEAN DEFAULT 0,
    email_status BOOLEAN DEFAULT 0,
    xhs_status BOOLEAN DEFAULT 0,
    
    -- 处理结果
    chinese_title TEXT,
    summary TEXT,
    tags TEXT,
    
    created_at TIMESTAMP,
    processed_at TIMESTAMP
);

🔄 工作流程编排

Cron定时触发

# 每天16:00执行
0 16 * * * /bin/bash /path/to/main_scheduler_complete.sh

执行流程

#!/bin/bash
set -e  # 错误时退出(可配置)

# 日志记录
exec 1> >(tee -a "$LOG_FILE")
exec 2>&1

# 步骤1: 环境检查
check_environment || exit 1

# 步骤2: 抓取(可能产出多篇文章)
articles=$(crawl_articles)
[ -z "$articles" ] && log "无新文章" && exit 0

# 步骤3-7: 处理每篇文章
for article in $articles; do
    process_article "$article"
    send_email "$article"
    publish_xhs "$article"
    update_status "$article"
done

# 步骤8: 清理
cleanup_old_logs

🛡️ 错误处理策略

分级处理

错误级别 处理方式 示例
致命 停止执行 数据库连接失败
重要 跳过当前,继续 单篇文章AI处理失败
警告 记录日志,继续 邮件发送超时
提示 静默处理 图片生成使用默认

重试机制

@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=4, max=10))
def call_ai_api(prompt):
    # 失败时自动重试3次,指数退避
    return api_client.chat.completions.create(...)

🎯 核心设计原则

1. 配置驱动

  • 所有参数可配置(网站列表、模型选择、定时时间)
  • 不改代码即可调整行为

2. 幂等性

  • 同一文章多次处理不会产生重复邮件/笔记
  • 数据库URL唯一约束保证

3. 可观测性

  • 每个步骤都有详细日志
  • 数据库记录完整状态
  • 执行报告生成

4. 可扩展性

  • 新增网站:修改配置即可
  • 新增输出渠道:增加新Processor
  • 更换AI模型:修改配置自动适配

📈 实际运行效果

[16:00:00] 开始执行
[16:00:15] 抓取完成: 20篇文章
[16:00:30] AI处理: 4篇通过字数筛选
[16:01:45] 邮件发送成功 (4篇)
[16:02:30] 小红书发布成功 (4篇)
[16:02:35] 更新状态完成
[16:02:40] 执行完成

总结:这个系统的核心是**"调度器协调多个独立处理器,通过数据库状态驱动,实现端到端的自动化内容生产与分发流水线"**。

你想深入了解哪个组件的实现细节?比如AI处理的具体Prompt设计,或者小红书发布的图片生成算法?🐈