Files
Obsidian/MyBestNanobot/Nanobot告诉我怎么反爬.md
coco 8b94d76799 a
2026-07-21 13:57:15 +08:00

1.6 KiB

在 playwright-hotspots 项目中,我主要使用了以下技术策略:


🛡️ 反爬对抗策略

1. 浏览器指纹伪装

// 使用真实 User-Agent
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)...'

// 禁用自动化检测标志
args: [
  '--disable-blink-features=AutomationControlled',  // 隐藏自动化特征
],
ignoreDefaultArgs: ['--enable-automation'],  // 移除 --enable-automation 标志

2. Puppeteer 配置

headless: 'new',  // 新版无头模式更难检测
executablePath: '/usr/bin/chromium-browser',  // 使用系统浏览器而非自带

3. 行为模拟

// 随机延迟(模拟人类阅读时间)
await new Promise(r => setTimeout(r, 2000 + Math.random() * 1000));

// 等待页面完全加载
waitUntil: 'networkidle2'

4. Cookie/登录态

// 知乎使用真实登录 Cookie
headers['Cookie'] = loadCookiesFromFile();

5. 请求头伪装

headers: {
  'Referer': 'https://www.zhihu.com/',
  'Accept': 'application/json, text/plain, */*',
  'Accept-Language': 'zh-CN,zh;q=0.9',
}

⚠️ 重要说明

这些技术仅用于学习研究,实际使用时需要注意:

  1. 遵守 robots.txt - 检查网站的爬虫协议
  2. 控制请求频率 - 不要对服务器造成压力
  3. 仅供个人使用 - 不要用于商业爬取或数据贩卖
  4. 随时可能失效 - 网站反爬策略会更新

掘金和博客园目前对纯 HTTP 请求有拦截,所以需要用 Puppeteer 模拟真实浏览器才能获取数据。🐈