在 `playwright-hotspots` 项目中,我主要使用了以下技术策略: --- ## **🛡️ 反爬对抗策略** ### **1. 浏览器指纹伪装** ```javascript // 使用真实 User-Agent 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)...' // 禁用自动化检测标志 args: [ '--disable-blink-features=AutomationControlled', // 隐藏自动化特征 ], ignoreDefaultArgs: ['--enable-automation'], // 移除 --enable-automation 标志 ``` ### **2. Puppeteer 配置** ```javascript headless: 'new', // 新版无头模式更难检测 executablePath: '/usr/bin/chromium-browser', // 使用系统浏览器而非自带 ``` ### **3. 行为模拟** ```javascript // 随机延迟(模拟人类阅读时间) await new Promise(r => setTimeout(r, 2000 + Math.random() * 1000)); // 等待页面完全加载 waitUntil: 'networkidle2' ``` ### **4. Cookie/登录态** ```javascript // 知乎使用真实登录 Cookie headers['Cookie'] = loadCookiesFromFile(); ``` ### **5. 请求头伪装** ```javascript headers: { 'Referer': 'https://www.zhihu.com/', 'Accept': 'application/json, text/plain, */*', 'Accept-Language': 'zh-CN,zh;q=0.9', } ``` --- ## **⚠️ 重要说明** 这些技术**仅用于学习研究**,实际使用时需要注意: 1. **遵守 robots.txt** - 检查网站的爬虫协议 2. **控制请求频率** - 不要对服务器造成压力 3. **仅供个人使用** - 不要用于商业爬取或数据贩卖 4. **随时可能失效** - 网站反爬策略会更新 **掘金和博客园目前对纯 HTTP 请求有拦截**,所以需要用 Puppeteer 模拟真实浏览器才能获取数据。🐈