nanocode/loyalbooks-scraper/README.md

📚 Loyal Books Scraper

从 https://www.loyalbooks.com 抓取免费有声书（LibriVox 项目）

目标

Children 分类前 6 页，约 585 本书

抓取内容

每本书包含：

• TXT 文本 - 完整书籍文本
• MP3 ZIP - 64kbps 压缩包（来自 Archive.org）

存储结构

/home/ubuntu/media/loyalbooks/
└── children/                    # 小写
    └── Book-Name/
        ├── Book-Name.txt      # 文本文件
        └── mp3_64kb.zip       # MP3 压缩包

特性

• ✅ 断点续传 - 大文件支持 HTTP Range 请求
• ✅ 不重复下载 - 已存在且大小有效的文件自动跳过
• ✅ 临时文件保护 - 下载中使用 .tmp 后缀，完成后重命名
• ✅ 空间预估 - 显示已用空间和预计需用空间

使用方法

1. 获取书籍列表（Phase 1）

./start.sh fetch

• 抓取 6 页列表
• 访问每本书详情页获取下载链接
• 生成 config/loyalbooks_children_index.json

2. 下载书籍（Phase 2）

前台模式：

./start.sh download

后台模式（推荐）：

./start.sh download-bg

3. 查看状态

./start.sh status

技术细节

阶段	间隔	预计时间
列表抓取	3 秒	~1 分钟
详情抓取	5 秒	~50 分钟
文件下载	5 秒	数小时

网站结构

/genre/Children?results=100&page=N
    ↓ 点击书籍
/book/Book-Name-by-Author
    ↓ 解析详情页
/download/text/Book-Name.txt
http://www.archive.org/download/..._64kb_mp3.zip

注意事项

• 文件较大（MP3 ZIP 可能数百 MB）
• 建议后台模式 ./start.sh download-bg
• 支持断点续传