2.9 KiB
2.9 KiB
IT资讯自动化系统
📖 项目简介
IT资讯自动化系统是一个集成了网页抓取、内容处理、邮件发送和小红书发布的自动化系统。
🎯 功能特性
核心功能
- 网页抓取:自动抓取多个IT资讯网站的最新文章
- 内容处理:翻译、去AI化、格式转换
- 邮件发送:自动打包并发送每日资讯
- 小红书发布:自动发布到小红书平台
技术特性
- 模块化设计:各功能模块独立,易于维护
- 安全配置:敏感信息与代码分离
- 定时执行:支持cron定时任务
- 详细日志:完整的执行日志记录
🗂️ 项目结构
it_automation/
├── scripts/ # 脚本文件
│ ├── main_scheduler_template.sh # 主调度脚本模板
│ ├── enhanced_crawler_template.py # 网页抓取模板
│ ├── content_converter_fixed.py # 内容转换器
│ └── humanizer_cn.py # 中文去AI化工具
├── config_templates/ # 配置模板
│ └── config_template.json # 配置文件模板
├── docs/ # 文档
│ └── DEPLOYMENT_GUIDE.md # 部署指南
└── .gitignore # Git忽略规则
🚀 快速开始
1. 环境准备
# 安装Python依赖
pip3 install requests beautifulsoup4
2. 配置系统
- 复制配置模板:
cp config_templates/config_template.json config.json - 编辑配置文件,设置实际路径和凭据
- 配置调度脚本中的路径变量
3. 运行测试
# 测试内容转换器
python3 scripts/content_converter_fixed.py --test
# 测试去AI化工具
python3 scripts/humanizer_cn.py --test
⚠️ 安全注意事项
绝对不能提交到Git的文件:
- Cookie文件 (
*.cookies.*,*.cookie.*) - 环境变量文件 (
*.env) - 配置文件 (
config.json) - 日志文件 (
*.log) - 数据库文件 (
*.db)
安全建议:
- 使用环境变量存储敏感信息
- 定期更新Cookie和API密钥
- 监控系统日志,及时发现异常
- 定期备份重要数据
🔧 维护指南
日常维护
- 检查定时任务执行状态
- 监控系统日志
- 定期更新依赖库
故障排除
- 查看日志:检查
logs/目录下的日志文件 - 验证配置:确保所有路径和凭据正确
- 测试组件:单独测试每个功能模块
更新升级
- 备份当前配置和数据
- 拉取最新代码
- 测试新功能
- 更新配置文件(如果需要)
📞 支持与反馈
文档
- 部署指南 - 详细部署说明
问题排查
- 检查系统日志
- 验证配置文件
- 测试网络连接
- 检查依赖库版本
联系方式
如有问题,请参考文档或检查日志文件。
版本:1.0.0 最后更新:2026-03-19 状态:✅ 安全迁移完成