60 lines
1.6 KiB
Markdown
60 lines
1.6 KiB
Markdown
在 `playwright-hotspots` 项目中,我主要使用了以下技术策略:
|
|
|
|
---
|
|
|
|
## **🛡️ 反爬对抗策略**
|
|
|
|
### **1. 浏览器指纹伪装**
|
|
```javascript
|
|
// 使用真实 User-Agent
|
|
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)...'
|
|
|
|
// 禁用自动化检测标志
|
|
args: [
|
|
'--disable-blink-features=AutomationControlled', // 隐藏自动化特征
|
|
],
|
|
ignoreDefaultArgs: ['--enable-automation'], // 移除 --enable-automation 标志
|
|
```
|
|
|
|
### **2. Puppeteer 配置**
|
|
```javascript
|
|
headless: 'new', // 新版无头模式更难检测
|
|
executablePath: '/usr/bin/chromium-browser', // 使用系统浏览器而非自带
|
|
```
|
|
|
|
### **3. 行为模拟**
|
|
```javascript
|
|
// 随机延迟(模拟人类阅读时间)
|
|
await new Promise(r => setTimeout(r, 2000 + Math.random() * 1000));
|
|
|
|
// 等待页面完全加载
|
|
waitUntil: 'networkidle2'
|
|
```
|
|
|
|
### **4. Cookie/登录态**
|
|
```javascript
|
|
// 知乎使用真实登录 Cookie
|
|
headers['Cookie'] = loadCookiesFromFile();
|
|
```
|
|
|
|
### **5. 请求头伪装**
|
|
```javascript
|
|
headers: {
|
|
'Referer': 'https://www.zhihu.com/',
|
|
'Accept': 'application/json, text/plain, */*',
|
|
'Accept-Language': 'zh-CN,zh;q=0.9',
|
|
}
|
|
```
|
|
|
|
---
|
|
|
|
## **⚠️ 重要说明**
|
|
|
|
这些技术**仅用于学习研究**,实际使用时需要注意:
|
|
|
|
1. **遵守 robots.txt** - 检查网站的爬虫协议
|
|
2. **控制请求频率** - 不要对服务器造成压力
|
|
3. **仅供个人使用** - 不要用于商业爬取或数据贩卖
|
|
4. **随时可能失效** - 网站反爬策略会更新
|
|
|
|
**掘金和博客园目前对纯 HTTP 请求有拦截**,所以需要用 Puppeteer 模拟真实浏览器才能获取数据。🐈 |