Files
Obsidian/MyBestNanobot/Nanobot告诉我怎么反爬.md
T
coco 8b94d76799 a
2026-07-21 13:57:15 +08:00

60 lines
1.6 KiB
Markdown

在 `playwright-hotspots` 项目中,我主要使用了以下技术策略:
---
## **🛡️ 反爬对抗策略**
### **1. 浏览器指纹伪装**
```javascript
// 使用真实 User-Agent
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)...'
// 禁用自动化检测标志
args: [
'--disable-blink-features=AutomationControlled', // 隐藏自动化特征
],
ignoreDefaultArgs: ['--enable-automation'], // 移除 --enable-automation 标志
```
### **2. Puppeteer 配置**
```javascript
headless: 'new', // 新版无头模式更难检测
executablePath: '/usr/bin/chromium-browser', // 使用系统浏览器而非自带
```
### **3. 行为模拟**
```javascript
// 随机延迟(模拟人类阅读时间)
await new Promise(r => setTimeout(r, 2000 + Math.random() * 1000));
// 等待页面完全加载
waitUntil: 'networkidle2'
```
### **4. Cookie/登录态**
```javascript
// 知乎使用真实登录 Cookie
headers['Cookie'] = loadCookiesFromFile();
```
### **5. 请求头伪装**
```javascript
headers: {
'Referer': 'https://www.zhihu.com/',
'Accept': 'application/json, text/plain, */*',
'Accept-Language': 'zh-CN,zh;q=0.9',
}
```
---
## **⚠️ 重要说明**
这些技术**仅用于学习研究**,实际使用时需要注意:
1. **遵守 robots.txt** - 检查网站的爬虫协议
2. **控制请求频率** - 不要对服务器造成压力
3. **仅供个人使用** - 不要用于商业爬取或数据贩卖
4. **随时可能失效** - 网站反爬策略会更新
**掘金和博客园目前对纯 HTTP 请求有拦截**,所以需要用 Puppeteer 模拟真实浏览器才能获取数据。🐈