251 lines
8.9 KiB
Markdown
251 lines
8.9 KiB
Markdown
|
||
这次是分类页(category),脚本里的 API 调用加了 `category=12932874` 参数过滤,成功从 10 页
|
||
(每页 20 篇)里捞出了全部 198 篇。脚本 `csdn_scraper_cookie.py` 已经是通用的了,改三个变量就能对付任意 CSDN 用户主页或分类页。
|
||
|
||
|
||
|
||
## 整体思路
|
||
|
||
CSDN 防爬手段很多,我绕过的核心方案是 **"不走前端,直接调 API + 模拟浏览器 Headers"**。下面完整拆解:
|
||
|
||
---
|
||
|
||
## 第一步:获取文章列表
|
||
|
||
普通爬虫的做法是解析博客主页 HTML,但 CSDN 的列表页是 **JavaScript 动态渲染**的,直接 `requests.get()` 拿到的 HTML 里根本没有文章列表内容。
|
||
|
||
我用的方法是**直接调 CSDN 的内部 API**:
|
||
|
||
```
|
||
GET https://blog.csdn.net/community/home-api/v1/get-business-list
|
||
?username=2301_78592402
|
||
&businessType=blog
|
||
&page=1
|
||
&size=20
|
||
```
|
||
|
||
这个接口是 CSDN 前端 JS 在加载文章列表时调用的,**返回 JSON 格式**,包含每篇文章的标题、URL、发布时间等。直接用、不需要解析 HTML,分页获取所有内容:
|
||
|
||
```
|
||
第1页 → 20篇
|
||
第2页 → 20篇
|
||
...
|
||
第6页 → 10篇(最后一页)
|
||
共 110 篇
|
||
```
|
||
|
||
---
|
||
|
||
## 第二步:获取每篇文章正文
|
||
|
||
每篇文章的 URL 拿到之后,直接 `GET` 请求,带上伪装成 Chrome 浏览器的 Headers:
|
||
|
||
```python
|
||
headers = {
|
||
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/122...',
|
||
'Referer': 'https://blog.csdn.net/',
|
||
...
|
||
}
|
||
```
|
||
|
||
CSDN 文章页的正文存在一个固定的 HTML 元素里,按优先级依次尝试:
|
||
|
||
```
|
||
div#article_content ← 最常见
|
||
div#content_views ← 备选
|
||
article ← 备选
|
||
div.article-content-box ← 备选
|
||
```
|
||
|
||
找到正文容器后,用 **BeautifulSoup** 解析 HTML 树。
|
||
|
||
---
|
||
|
||
## 第三步:下载图片
|
||
|
||
遍历正文里所有 `<img>` 标签,注意 CSDN 有一个坑——**真实图片 URL 放在 `data-src` 属性里**,`src` 里放的是占位图(防懒加载):
|
||
|
||
```python
|
||
src = img.get('data-src') or img.get('src', '')
|
||
```
|
||
|
||
下载图片后,**把 `<img>` 标签的 src 替换成本地文件名**,这样 Markdown 里的图片引用就是相对路径,可以正常显示。
|
||
|
||
---
|
||
|
||
## 第四步:HTML → Markdown
|
||
|
||
用 `html2text` 库把整个正文 HTML 块转成 Markdown,配置参数:
|
||
|
||
```python
|
||
h = html2text.HTML2Text()
|
||
h.ignore_links = False # 保留链接
|
||
h.ignore_images = False # 保留图片引用
|
||
h.body_width = 0 # 不自动换行
|
||
h.unicode_snob = True # 正确处理中文
|
||
```
|
||
|
||
最后套上 YAML front-matter 头(标题、来源 URL、提取时间),写入 `.md` 文件。
|
||
|
||
---
|
||
|
||
## 第五步:目录结构
|
||
|
||
每篇文章创建一个独立子目录:
|
||
|
||
```
|
||
csdn_articles/
|
||
└── 001_文章标题/
|
||
├── 文章标题.md ← 正文
|
||
├── image1.jpg ← 图片(与 md 同级)
|
||
└── image2.png
|
||
```
|
||
|
||
Markdown 里图片引用是 `` 相对路径,打开 md 文件时图片可以直接显示。
|
||
|
||
---
|
||
|
||
## 防爬措施如何绕过
|
||
|
||
| CSDN 防护 | 应对方式 |
|
||
|-----------|---------|
|
||
| JS 动态渲染列表 | 直接调内部 JSON API,不解析 HTML |
|
||
| User-Agent 检测 | 伪装成 Chrome 122 浏览器 |
|
||
| Referer 检查 | 带上 `Referer: https://blog.csdn.net/` |
|
||
| 频率限制 | 每篇文章之间 sleep 2 秒 |
|
||
| 图片防盗链 | 已处理 `data-src`,但部分图片仍需 Cookie 登录才能下载 |
|
||
|
||
---
|
||
|
||
## 为什么部分图片没下载到
|
||
|
||
CSDN 的图片走 CDN(`img-blog.csdnimg.cn`),部分需要携带登录 Cookie 才返回 200,匿名请求直接 403 或返回占位图。如果需要完整图片,可以从浏览器导出 Cookie 后注入到脚本的 session 里重新跑。
|
||
|
||
|
||
---
|
||
|
||
|
||
The user is asking about:
|
||
1. Confirming the scraping scripts are `csdn_scraper.py` and `csdn_scraper_cookie.py`
|
||
2. Which skills were used during the entire task
|
||
3. A summary of the entire task execution process
|
||
|
||
Let me think about what skills were actually used:
|
||
|
||
1. `playwright-cli` - I loaded this skill initially, but it wasn't actually used because playwright-cli wasn't installed and there were issues with it on the MSYS2 Python environment. I switched to using Python requests directly.
|
||
|
||
2. `baoyu-url-to-markdown` - The user mentioned this, but I didn't actually use it. I used html2text instead.
|
||
|
||
|
||
3. I didn't use any markdown processing skill either. Looking back at what I actually used, I loaded the `playwright-cli` skill but ran into installation problems and ended up using Python with requests, BeautifulSoup, and html2text instead. The `baoyu-url-to-markdown` skill the user mentioned wasn't actually applied—I processed the content through html2text in my own Python script. So the real workflow was: bootstrap the workspace, load the browser automation skill, switch to Python requests when that didn't work, create the scraping script with virtual environment setup, run it, and process the results.
|
||
## 完整过程回顾
|
||
|
||
### 涉及的工具/技能
|
||
|
||
| 是否使用 | 名称 | 说明 |
|
||
|---------|------|------|
|
||
| ❌ | `baoyu-url-to-markdown` | **没有使用**,你说的时候我误以为会用到,但我直接用 html2text 在脚本里处理了 |
|
||
| ❌ | `playwright-cli` | **加载了**,但因为 Windows/MSYS2 环境问题没能用上,安装失败后我换了纯 Python requests 方案 |
|
||
| ✅ | Python requests + BeautifulSoup + html2text | **实际主力**,这三个库在虚拟环境 `d:\Budding\.venv` 里装的 |
|
||
| ✅ | `csdn_scraper.py` | **第一次无 Cookie 抓取**,110 篇文章全部成功 |
|
||
| ✅ | `csdn_scraper_cookie.py` | **第二次带 Cookie 重跑**,用于验证登录态和图片补全 |
|
||
|
||
---
|
||
|
||
### 完整执行流程
|
||
|
||
**第一阶段:准备工作**
|
||
|
||
1. 读 `BOOTSTRAP.md` → 初始化 SOUL.md / IDENTITY.md / USER.md(但因为 `.workbuddy` 里已有文件,跳过了)
|
||
2. 你说想抓 CSDN → 我加载了 `playwright-cli` 技能,想用浏览器自动化来绕过反爬
|
||
3. 执行 `playwright-cli open` → **报错:找不到命令**,需要先安装
|
||
|
||
**第二阶段:环境搭建**
|
||
|
||
4. 尝试 `npm install -g @playwright/cli` → 安装了但路径找不到
|
||
5. 改用 Python 方案 → 创建虚拟环境 `d:\Budding\.venv`
|
||
6. `pip install requests beautifulsoup4 html2text` → 遇到 Windows externally-managed-environment 报错
|
||
7. 用 MSYS2 的 bin 目录成功安装 → 验证依赖 OK
|
||
|
||
**第三阶段:第一次抓取(无 Cookie)**
|
||
|
||
8. 写 `csdn_scraper.py`,核心策略:
|
||
- 不解析 HTML,直接调 CSDN 内部 JSON API 获取文章列表(`community/home-api/v1/get-business-list`)
|
||
- 翻 6 页 → **共 110 篇文章**
|
||
- 每篇请求正文 HTML,用 BeautifulSoup 提取标题和正文
|
||
- 遍历 `<img>` 标签,从 `data-src` 下载图片
|
||
- 用 html2text 转 Markdown,保存到 `d:\Budding\csdn_articles\NNN_文章标题\`
|
||
9. 运行 → **110 篇全部成功**,3 张图片
|
||
|
||
**第四阶段:第二次抓取(带 Cookie)**
|
||
|
||
10. 你放了 `csdn_cookies.txt`(49 个 Cookie,包含 `UserToken`、`UN=henseycai` 等)
|
||
11. 写 `csdn_scraper_cookie.py`,逻辑和第一次一样,但多了一步注入 Cookie 到 session
|
||
12. 运行 → Cookie 加载成功,登录验证通过
|
||
13. **图片数量没变** → 因为这 107 篇文章 HTML 里本身就没图片
|
||
|
||
**第五阶段:分析原因**
|
||
|
||
14. 抽查多篇文章的 HTML → 大部分 `img` 标签数为 0
|
||
15. 确认这是**文章内容特征**,不是反爬问题,Cookie 解锁不了不存在的内容
|
||
|
||
---
|
||
|
||
### 最终结果
|
||
|
||
| 项目 | 数量 |
|
||
|------|------|
|
||
| 总文章 | 110 篇 |
|
||
| Markdown 文件 | 110 个 |
|
||
| 图片 | 3 张 |
|
||
| 失败 | 0 |
|
||
|
||
**结论:这个博客就是"纯代码+文字"风格,3 张图就是全部。Cookie 验证了登录态稳健,但图片数量不会因此增加。**
|
||
|
||
|
||
|
||
---
|
||
|
||
|
||
The user is asking if they can run the scraper scripts on their own, from any directory, without needing my help. Let me give them a clear answer about this.
|
||
完全可以。只要环境对了,在任意目录都能自己跑。需要注意的就几点:
|
||
|
||
**1. 确保 Python 虚拟环境可访问**
|
||
|
||
脚本里硬编码了 venv 路径 `d:/Budding/.venv/bin/python`,如果要放其他目录,改一下路径或者用系统 Python:
|
||
|
||
```bash
|
||
# 方式A:直接用系统 Python(需要先装依赖)
|
||
pip install requests beautifulsoup4 html2text
|
||
python csdn_scraper_cookie.py
|
||
|
||
# 方式B:把 venv 整个复制过去,修改脚本里的路径
|
||
```
|
||
|
||
**2. Cookie 文件**
|
||
|
||
`csdn_cookies.txt` 也硬编码了路径,放哪都行,改一下脚本里的 `COOKIE_FILE`:
|
||
|
||
```python
|
||
COOKIE_FILE = r"你的实际路径\csdn_cookies.txt"
|
||
```
|
||
|
||
**3. 关键变量就这三个**
|
||
|
||
```python
|
||
USER_ID = "u013883025" # 博客用户名
|
||
CATEGORY_ID = "12932874" # 分类ID(不是分类页留空)
|
||
OUTPUT_DIR = r"d:\Budding\..." # 输出目录
|
||
```
|
||
|
||
**4. 运行前设编码**
|
||
|
||
```powershell
|
||
$env:PYTHONIOENCODING='utf-8'; python csdn_scraper_cookie.py
|
||
```
|
||
|
||
---
|
||
|
||
所以你可以把脚本和 Cookie 文件一起拷贝到 U 盘、网盘、服务器,想在哪儿跑就在哪儿跑,改三个配置变量就行。
|
||
|