11 KiB
一 主贴数据采集
你重置一下上下文。我们继续小红书的“试管婴儿”数据采集方案。 我们现在在clawcode 建立一个数据采集子目录, 根据你的方案,拆分关键字,随机等待时间(不少于5秒), 根据你拆分的关键字,搜索尽可能多的帖子,并存储到sqlite数据库,要求做好去重。 采集的数据有效总数不少于1500条。 我们就使用你已经知道的小红书登录方式,进行采集。
你想想怎么实现?有没有问题? 这种耗时的任务,你是使用sub-agent,还是其他方式?
chrome://extensions/?id=ojfebgpkimhlhcblbalbfjblapadhbol https://github.com/Moustachauve/cookie-editor
https://github.com/ravindu644/Edit-This-Cookie-V3 https://github.com/YoeriW/Edit-This-CookieGitHub https://github.com/etiennedubois/cookie-editor https://github.com/Moustachauve/cookie-editor
二 cookie获取客户端
概述
Windows运行环境下,实现一个基于Chrome 浏览器内核的浏览器客户端,用户正常操作浏览器,通过这个浏览器,登录某个网站(如小红书)。然后通过这个自定义的浏览器客户端,导出用户的cookies。 目前github上有一些开源的代码(chrome扩展),用于导出chrome浏览器cookie
- https://github.com/Moustachauve/cookie-editor ,我已经clone代码到cookie-editor子目录
- https://github.com/YoeriW/Edit-This-Cookie , 我已经clone代码到Edit-This-Cookie子目录
详细需求
-
我需要有GUI界面,是否可以采用Python语言?Python应该是支持GUI编程的,对吧?
-
GUI界面要求:
顶部是地址栏,跟普通浏览器一样,回车则加载页面 地址栏下面是浏览器主界面 GUI的最底部这一行,是操作按钮(不是页面,是类似Python实现的原生按钮),目前只一个按钮"导出cookie"
-
cookie-editor,Edit-This-Cookie是给你参考的,告诉你如何提取网站cookies。
-
xiaohongshu_cookies.txt是一个小红书的cookies案例,是通过chrome浏览器扩展导出,供参考
你理解上述需求,如果有疑问,请反问我,直到你充分理解。然后,你给出你的技术方案和开发计划。
我理解您的需求了。让我先查看一下现有的cookie扩展代码和cookie文件格式,以便给出合适的技术方案。 我已经分析了您的需求和现有代码。让我确认一下我的理解:
需求理解
- 目标:创建一个Windows桌面应用程序,内置浏览器,可导出cookies
- 界面布局:
- 顶部:地址栏(输入URL回车加载)
- 中间:浏览器主界面
- 底部:原生按钮栏(导出cookie按钮)
- 功能:用户正常浏览网站、登录后,点击按钮导出cookies
- Cookie格式:参考
xiaohongshu_cookies.txt的JSON数组格式
技术方案
推荐方案:PyQt5/PyQt6 + QWebEngineView
为什么选择这个方案?
| 特性 | 说明 |
|---|---|
| 浏览器内核 | QWebEngineView 基于 Chromium 内核(与Chrome同源) |
| Cookie获取 | 通过 QWebEngineCookieStore API 直接访问cookie存储,无需扩展 |
| 成熟度 | Qt是工业级GUI框架,稳定可靠 |
| 跨平台 | Windows/macOS/Linux都支持 |
替代方案对比
| 方案 | 优点 | 缺点 |
|---|---|---|
| PyQt + QWebEngine ✅ | 完整浏览器功能,直接获取cookie | 需要安装PyQt5/6和WebEngine |
| CEF Python | 更接近Chrome | 项目维护不活跃,文档少 |
| Selenium + GUI | 自动化能力强 | 不是嵌入式浏览器,体验差 |
| Electron | 现代化UI | 需要Node.js,非Python |
开发计划
项目结构
cookie_browser/
├── main.py # 主程序入口
├── browser_window.py # 浏览器窗口类
├── cookie_exporter.py # Cookie导出逻辑
├── requirements.txt # 依赖文件
└── exported_cookies/ # 导出的cookies存放目录
实现步骤
-
环境搭建
- 安装 PyQt6 和 PyQt6-WebEngine
- 创建项目骨架
-
GUI界面开发
- 创建主窗口(QMainWindow)
- 添加地址栏(QLineEdit + 回车事件)
- 嵌入浏览器组件(QWebEngineView)
- 底部按钮栏(导出Cookie按钮)
-
Cookie导出功能
- 连接 QWebEngineCookieStore
- 获取当前域名所有cookies
- 转换为JSON格式(与示例文件格式一致)
- 保存到文件
-
测试验证
- 测试访问小红书网站
- 验证登录后能否正确导出cookies
疑问确认
在开始实现之前,我有几个问题需要确认:
- 导出位置:Cookie文件导出到固定目录,还是每次弹出文件保存对话框让用户选择? Answer:导出到当前目录,名称: 当前域名 加上 __cookies.txt
- 导出格式:是否只需要JSON格式(与示例一致),还是需要支持其他格式(如Netscape格式、Header格式)? Answer:先只采用这种Json格式,后续需要则再修改。
- Python版本:您本地Python版本是多少?(建议Python 3.8+) Answer: 我电脑的Python版本是Python 3.12.11
- 界面语言:界面需要中文还是英文? Answer: 中文 请确认上述问题后,我将开始实现。
我的补充问题:
- 你自己安装PyQt5/PyQt6 + QWebEngineView吗?
- 这个程序做完后,可以生成一个可执行文件吗?不一定要做成安装包。但是 如果我将目录复制到其他电脑就可以运行,能做到吗?是否一定要去目标电脑 安装了Python,及PyQt5/PyQt6 + QWebEngineView
三 自动评论
讨论一下怎么正对小红书某个主贴,进行回帖及回帖的再次回复的问题。 我的身份是:试管婴儿服务提供商,可以给用户提供的服务包括: 提供医院介绍和对接; 试管婴儿全周期跟进; 调理生殖健康的营养品保健品;
有需要的点我头像,私信进一步沟通。
小红书自动评论功能开发
我们按照上面的步骤,已经提前了有效的小红书cookies,下一步我们根据这个小红书xiaohongshu-cli实现的相同方式,针对小红书的主贴下面的回帖,进行回复。
项目下的ivf_notes.db文件,是sqlite数据库,对应的数据库表定义如下:
CREATE TABLE notes ( note_id TEXT PRIMARY KEY, -- 小红书笔记ID title TEXT, content TEXT, -- 预览内容 author_id TEXT, author_name TEXT, like_count INTEGER, comment_count INTEGER, -- 用于评估互动价值 keyword TEXT, -- 来源关键词 search_page INTEGER, collected_at TIMESTAMP, status TEXT DEFAULT 'new' -- new/commented/ignored ); CREATE INDEX idx_keyword ON notes(keyword); CREATE INDEX idx_author ON notes(author_id); CREATE INDEX idx_status ON notes(status); ** ivf_notes.db数据库,存储了2000多条小红书有效的主贴,我们取第一条数据,小红书笔记ID(如:68f3431f000000000703a73e ),找到第一个热点跟帖,进行回复。比如回复一个 “你好” 之类的文字 **
这个github 仓库 https://github.com/jackwener/xiaohongshu-cli 我已经克隆到xiaohongshu-cli目录
请读取ivf_notes.db内容,并分析xiaohongshu-cli如何评论小红书。然后提出你的实现方案,如果能够重用xiaohongshu-cli的代码,就重用。这个库应该也是使用python实现的。
如果有问题,请提问。没有问题,请给方案。然后再决定实施测试程序。
让我先查看数据库内容和xiaohongshu-cli的代码结构: 现在让我查找获取评论的方法: 现在我已经了解了代码结构。让我也查看一下cookies的处理方式: 现在我已经充分了解了代码结构。让我提出实现方案:
小红书自动评论功能 - 实现方案
需求分析
- 数据来源:
ivf_notes.db数据库中的notes表,包含2000+条小红书笔记 - 任务: 取第一条笔记,找到第一个热点跟帖,进行回复(如"你好")
- 技术基础: 复用
xiaohongshu-cli的XhsClient类
核心API(已存在于xiaohongshu-cli)
| 方法 | 功能 | 所在文件 |
|---|---|---|
get_comments() |
获取笔记评论列表 | client_mixins.py |
get_all_comments() |
获取所有评论(分页) | client_mixins.py |
reply_comment() |
回复指定评论 | client_mixins.py |
post_comment() |
发表评论 | client_mixins.py |
实现方案
方案:创建独立脚本 auto_comment.py
复用 xiaohongshu-cli 的客户端,实现:
- 读取SQLite数据库获取笔记ID
- 使用
XhsClient获取该笔记的评论列表 - 找到第一个评论(热点跟帖)
- 使用
reply_comment()回复该评论
问题确认
- Cookie来源: 使用之前导出的
xiaohongshu_cookies.txt还是cookie_browser导出的新cookie? Answer: 使用cookie_browser新导出的cookies。cookies还可能失效,或者平台判断为失效等! 最好,还需要判断cookies的有效性。(xiaohongshu-cli可能包含了怎么判断cookies有效) - 回复内容: 固定回复"你好",还是需要支持自定义? Answer: 我们目前还是测试,只回复“你好”即可。你将评论ID 返回,或者打印出来。后续,我们还有新的开发任务!!!我一步步告诉你。
- 热点判断: "第一个热点跟帖"是指:
- 第一条评论(时间最早)?
- 点赞数最多的评论?
- 还是只要第一条评论即可? Answer: 就用评论最多的吧,只是测试有效性。
请确认以上问题,我将立即实施代码。
帖子分析
主贴内容:科普试管一/二/三代区别(医生认证账号)
评论区现状:
-
高赞评论:问三代筛选标准、问单身能否做试管
-
讨论热点:单身试管合法性、胚胎质量筛选
💡 关于"怎么评判"
评论多的好处是:你能看到大家的关注点在哪,从而决定:
-
补充型评论 → 主贴没讲到的,你有经验可以补充
-
互动型评论 → 回复高赞评论,参与热门讨论
-
提问型评论 → 提出你的真实疑问,获得医生回复
方案1:多关键词分散搜索(推荐)
将"试管婴儿"拆分为细分关键词,分别搜索后去重:
核心词:
-
试管婴儿
-
试管之路
-
三代试管
-
试管经历
-
试管日记
-
试管成功率
-
试管费用
-
试管医院
人群词:
-
备孕困难
-
输卵管堵塞
-
多囊试管
-
卵巢早衰
-
高龄试管
-
试管双胞胎
情感词:
-
试管焦虑
-
试管失败
-
试管成功
-
试管加油