1.6 KiB
1.6 KiB
在 playwright-hotspots 项目中,我主要使用了以下技术策略:
🛡️ 反爬对抗策略
1. 浏览器指纹伪装
// 使用真实 User-Agent
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)...'
// 禁用自动化检测标志
args: [
'--disable-blink-features=AutomationControlled', // 隐藏自动化特征
],
ignoreDefaultArgs: ['--enable-automation'], // 移除 --enable-automation 标志
2. Puppeteer 配置
headless: 'new', // 新版无头模式更难检测
executablePath: '/usr/bin/chromium-browser', // 使用系统浏览器而非自带
3. 行为模拟
// 随机延迟(模拟人类阅读时间)
await new Promise(r => setTimeout(r, 2000 + Math.random() * 1000));
// 等待页面完全加载
waitUntil: 'networkidle2'
4. Cookie/登录态
// 知乎使用真实登录 Cookie
headers['Cookie'] = loadCookiesFromFile();
5. 请求头伪装
headers: {
'Referer': 'https://www.zhihu.com/',
'Accept': 'application/json, text/plain, */*',
'Accept-Language': 'zh-CN,zh;q=0.9',
}
⚠️ 重要说明
这些技术仅用于学习研究,实际使用时需要注意:
- 遵守 robots.txt - 检查网站的爬虫协议
- 控制请求频率 - 不要对服务器造成压力
- 仅供个人使用 - 不要用于商业爬取或数据贩卖
- 随时可能失效 - 网站反爬策略会更新
掘金和博客园目前对纯 HTTP 请求有拦截,所以需要用 Puppeteer 模拟真实浏览器才能获取数据。🐈