这次是分类页(category),脚本里的 API 调用加了 `category=12932874` 参数过滤,成功从 10 页 (每页 20 篇)里捞出了全部 198 篇。脚本 `csdn_scraper_cookie.py` 已经是通用的了,改三个变量就能对付任意 CSDN 用户主页或分类页。 ## 整体思路 CSDN 防爬手段很多,我绕过的核心方案是 **"不走前端,直接调 API + 模拟浏览器 Headers"**。下面完整拆解: --- ## 第一步:获取文章列表 普通爬虫的做法是解析博客主页 HTML,但 CSDN 的列表页是 **JavaScript 动态渲染**的,直接 `requests.get()` 拿到的 HTML 里根本没有文章列表内容。 我用的方法是**直接调 CSDN 的内部 API**: ``` GET https://blog.csdn.net/community/home-api/v1/get-business-list ?username=2301_78592402 &businessType=blog &page=1 &size=20 ``` 这个接口是 CSDN 前端 JS 在加载文章列表时调用的,**返回 JSON 格式**,包含每篇文章的标题、URL、发布时间等。直接用、不需要解析 HTML,分页获取所有内容: ``` 第1页 → 20篇 第2页 → 20篇 ... 第6页 → 10篇(最后一页) 共 110 篇 ``` --- ## 第二步:获取每篇文章正文 每篇文章的 URL 拿到之后,直接 `GET` 请求,带上伪装成 Chrome 浏览器的 Headers: ```python headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/122...', 'Referer': 'https://blog.csdn.net/', ... } ``` CSDN 文章页的正文存在一个固定的 HTML 元素里,按优先级依次尝试: ``` div#article_content ← 最常见 div#content_views ← 备选 article ← 备选 div.article-content-box ← 备选 ``` 找到正文容器后,用 **BeautifulSoup** 解析 HTML 树。 --- ## 第三步:下载图片 遍历正文里所有 `` 标签,注意 CSDN 有一个坑——**真实图片 URL 放在 `data-src` 属性里**,`src` 里放的是占位图(防懒加载): ```python src = img.get('data-src') or img.get('src', '') ``` 下载图片后,**把 `` 标签的 src 替换成本地文件名**,这样 Markdown 里的图片引用就是相对路径,可以正常显示。 --- ## 第四步:HTML → Markdown 用 `html2text` 库把整个正文 HTML 块转成 Markdown,配置参数: ```python h = html2text.HTML2Text() h.ignore_links = False # 保留链接 h.ignore_images = False # 保留图片引用 h.body_width = 0 # 不自动换行 h.unicode_snob = True # 正确处理中文 ``` 最后套上 YAML front-matter 头(标题、来源 URL、提取时间),写入 `.md` 文件。 --- ## 第五步:目录结构 每篇文章创建一个独立子目录: ``` csdn_articles/ └── 001_文章标题/ ├── 文章标题.md ← 正文 ├── image1.jpg ← 图片(与 md 同级) └── image2.png ``` Markdown 里图片引用是 `![](image1.jpg)` 相对路径,打开 md 文件时图片可以直接显示。 --- ## 防爬措施如何绕过 | CSDN 防护 | 应对方式 | |-----------|---------| | JS 动态渲染列表 | 直接调内部 JSON API,不解析 HTML | | User-Agent 检测 | 伪装成 Chrome 122 浏览器 | | Referer 检查 | 带上 `Referer: https://blog.csdn.net/` | | 频率限制 | 每篇文章之间 sleep 2 秒 | | 图片防盗链 | 已处理 `data-src`,但部分图片仍需 Cookie 登录才能下载 | --- ## 为什么部分图片没下载到 CSDN 的图片走 CDN(`img-blog.csdnimg.cn`),部分需要携带登录 Cookie 才返回 200,匿名请求直接 403 或返回占位图。如果需要完整图片,可以从浏览器导出 Cookie 后注入到脚本的 session 里重新跑。 --- The user is asking about: 1. Confirming the scraping scripts are `csdn_scraper.py` and `csdn_scraper_cookie.py` 2. Which skills were used during the entire task 3. A summary of the entire task execution process Let me think about what skills were actually used: 1. `playwright-cli` - I loaded this skill initially, but it wasn't actually used because playwright-cli wasn't installed and there were issues with it on the MSYS2 Python environment. I switched to using Python requests directly. 2. `baoyu-url-to-markdown` - The user mentioned this, but I didn't actually use it. I used html2text instead. 3. I didn't use any markdown processing skill either. Looking back at what I actually used, I loaded the `playwright-cli` skill but ran into installation problems and ended up using Python with requests, BeautifulSoup, and html2text instead. The `baoyu-url-to-markdown` skill the user mentioned wasn't actually applied—I processed the content through html2text in my own Python script. So the real workflow was: bootstrap the workspace, load the browser automation skill, switch to Python requests when that didn't work, create the scraping script with virtual environment setup, run it, and process the results. ## 完整过程回顾 ### 涉及的工具/技能 | 是否使用 | 名称 | 说明 | |---------|------|------| | ❌ | `baoyu-url-to-markdown` | **没有使用**,你说的时候我误以为会用到,但我直接用 html2text 在脚本里处理了 | | ❌ | `playwright-cli` | **加载了**,但因为 Windows/MSYS2 环境问题没能用上,安装失败后我换了纯 Python requests 方案 | | ✅ | Python requests + BeautifulSoup + html2text | **实际主力**,这三个库在虚拟环境 `d:\Budding\.venv` 里装的 | | ✅ | `csdn_scraper.py` | **第一次无 Cookie 抓取**,110 篇文章全部成功 | | ✅ | `csdn_scraper_cookie.py` | **第二次带 Cookie 重跑**,用于验证登录态和图片补全 | --- ### 完整执行流程 **第一阶段:准备工作** 1. 读 `BOOTSTRAP.md` → 初始化 SOUL.md / IDENTITY.md / USER.md(但因为 `.workbuddy` 里已有文件,跳过了) 2. 你说想抓 CSDN → 我加载了 `playwright-cli` 技能,想用浏览器自动化来绕过反爬 3. 执行 `playwright-cli open` → **报错:找不到命令**,需要先安装 **第二阶段:环境搭建** 4. 尝试 `npm install -g @playwright/cli` → 安装了但路径找不到 5. 改用 Python 方案 → 创建虚拟环境 `d:\Budding\.venv` 6. `pip install requests beautifulsoup4 html2text` → 遇到 Windows externally-managed-environment 报错 7. 用 MSYS2 的 bin 目录成功安装 → 验证依赖 OK **第三阶段:第一次抓取(无 Cookie)** 8. 写 `csdn_scraper.py`,核心策略: - 不解析 HTML,直接调 CSDN 内部 JSON API 获取文章列表(`community/home-api/v1/get-business-list`) - 翻 6 页 → **共 110 篇文章** - 每篇请求正文 HTML,用 BeautifulSoup 提取标题和正文 - 遍历 `` 标签,从 `data-src` 下载图片 - 用 html2text 转 Markdown,保存到 `d:\Budding\csdn_articles\NNN_文章标题\` 9. 运行 → **110 篇全部成功**,3 张图片 **第四阶段:第二次抓取(带 Cookie)** 10. 你放了 `csdn_cookies.txt`(49 个 Cookie,包含 `UserToken`、`UN=henseycai` 等) 11. 写 `csdn_scraper_cookie.py`,逻辑和第一次一样,但多了一步注入 Cookie 到 session 12. 运行 → Cookie 加载成功,登录验证通过 13. **图片数量没变** → 因为这 107 篇文章 HTML 里本身就没图片 **第五阶段:分析原因** 14. 抽查多篇文章的 HTML → 大部分 `img` 标签数为 0 15. 确认这是**文章内容特征**,不是反爬问题,Cookie 解锁不了不存在的内容 --- ### 最终结果 | 项目 | 数量 | |------|------| | 总文章 | 110 篇 | | Markdown 文件 | 110 个 | | 图片 | 3 张 | | 失败 | 0 | **结论:这个博客就是"纯代码+文字"风格,3 张图就是全部。Cookie 验证了登录态稳健,但图片数量不会因此增加。** --- The user is asking if they can run the scraper scripts on their own, from any directory, without needing my help. Let me give them a clear answer about this. 完全可以。只要环境对了,在任意目录都能自己跑。需要注意的就几点: **1. 确保 Python 虚拟环境可访问** 脚本里硬编码了 venv 路径 `d:/Budding/.venv/bin/python`,如果要放其他目录,改一下路径或者用系统 Python: ```bash # 方式A:直接用系统 Python(需要先装依赖) pip install requests beautifulsoup4 html2text python csdn_scraper_cookie.py # 方式B:把 venv 整个复制过去,修改脚本里的路径 ``` **2. Cookie 文件** `csdn_cookies.txt` 也硬编码了路径,放哪都行,改一下脚本里的 `COOKIE_FILE`: ```python COOKIE_FILE = r"你的实际路径\csdn_cookies.txt" ``` **3. 关键变量就这三个** ```python USER_ID = "u013883025" # 博客用户名 CATEGORY_ID = "12932874" # 分类ID(不是分类页留空) OUTPUT_DIR = r"d:\Budding\..." # 输出目录 ``` **4. 运行前设编码** ```powershell $env:PYTHONIOENCODING='utf-8'; python csdn_scraper_cookie.py ``` --- 所以你可以把脚本和 Cookie 文件一起拷贝到 U 盘、网盘、服务器,想在哪儿跑就在哪儿跑,改三个配置变量就行。