Files
Obsidian/MyBestOpenclaw/小红书试管采集项目和自动评论.md
2026-07-21 14:53:24 +08:00

11 KiB
Raw Permalink Blame History

一 主贴数据采集

你重置一下上下文。我们继续小红书的“试管婴儿”数据采集方案。 我们现在在clawcode 建立一个数据采集子目录, 根据你的方案,拆分关键字,随机等待时间(不少于5秒), 根据你拆分的关键字,搜索尽可能多的帖子,并存储到sqlite数据库,要求做好去重。 采集的数据有效总数不少于1500条。 我们就使用你已经知道的小红书登录方式,进行采集。

你想想怎么实现?有没有问题? 这种耗时的任务,你是使用sub-agent,还是其他方式?


chrome://extensions/?id=ojfebgpkimhlhcblbalbfjblapadhbol https://github.com/Moustachauve/cookie-editor

https://github.com/ravindu644/Edit-This-Cookie-V3 https://github.com/YoeriW/Edit-This-CookieGitHub https://github.com/etiennedubois/cookie-editor https://github.com/Moustachauve/cookie-editor

二 cookie获取客户端

概述

Windows运行环境下,实现一个基于Chrome 浏览器内核的浏览器客户端,用户正常操作浏览器,通过这个浏览器,登录某个网站(如小红书)。然后通过这个自定义的浏览器客户端,导出用户的cookies。 目前github上有一些开源的代码(chrome扩展),用于导出chrome浏览器cookie

  1. https://github.com/Moustachauve/cookie-editor ,我已经clone代码到cookie-editor子目录
  2. https://github.com/YoeriW/Edit-This-Cookie , 我已经clone代码到Edit-This-Cookie子目录

详细需求

  1. 我需要有GUI界面,是否可以采用Python语言?Python应该是支持GUI编程的,对吧?

  2. GUI界面要求:

    顶部是地址栏,跟普通浏览器一样,回车则加载页面 地址栏下面是浏览器主界面 GUI的最底部这一行,是操作按钮(不是页面,是类似Python实现的原生按钮),目前只一个按钮"导出cookie"

  3. cookie-editor,Edit-This-Cookie是给你参考的,告诉你如何提取网站cookies。

  4. xiaohongshu_cookies.txt是一个小红书的cookies案例,是通过chrome浏览器扩展导出,供参考

你理解上述需求,如果有疑问,请反问我,直到你充分理解。然后,你给出你的技术方案和开发计划。


我理解您的需求了。让我先查看一下现有的cookie扩展代码和cookie文件格式,以便给出合适的技术方案。 我已经分析了您的需求和现有代码。让我确认一下我的理解:

需求理解

  1. 目标:创建一个Windows桌面应用程序,内置浏览器,可导出cookies
  2. 界面布局:
    • 顶部:地址栏(输入URL回车加载)
    • 中间:浏览器主界面
    • 底部:原生按钮栏(导出cookie按钮)
  3. 功能:用户正常浏览网站、登录后,点击按钮导出cookies
  4. Cookie格式:参考xiaohongshu_cookies.txt的JSON数组格式

技术方案

推荐方案:PyQt5/PyQt6 + QWebEngineView

为什么选择这个方案?

特性 说明
浏览器内核 QWebEngineView 基于 Chromium 内核(与Chrome同源)
Cookie获取 通过 QWebEngineCookieStore API 直接访问cookie存储,无需扩展
成熟度 Qt是工业级GUI框架,稳定可靠
跨平台 Windows/macOS/Linux都支持

替代方案对比

方案 优点 缺点
PyQt + QWebEngine ✅ 完整浏览器功能,直接获取cookie 需要安装PyQt5/6和WebEngine
CEF Python 更接近Chrome 项目维护不活跃,文档少
Selenium + GUI 自动化能力强 不是嵌入式浏览器,体验差
Electron 现代化UI 需要Node.js,非Python

开发计划

项目结构

cookie_browser/
├── main.py              # 主程序入口
├── browser_window.py    # 浏览器窗口类
├── cookie_exporter.py   # Cookie导出逻辑
├── requirements.txt     # 依赖文件
└── exported_cookies/    # 导出的cookies存放目录

实现步骤

  1. 环境搭建

    • 安装 PyQt6 和 PyQt6-WebEngine
    • 创建项目骨架
  2. GUI界面开发

    • 创建主窗口(QMainWindow)
    • 添加地址栏(QLineEdit + 回车事件)
    • 嵌入浏览器组件(QWebEngineView)
    • 底部按钮栏(导出Cookie按钮)
  3. Cookie导出功能

    • 连接 QWebEngineCookieStore
    • 获取当前域名所有cookies
    • 转换为JSON格式(与示例文件格式一致)
    • 保存到文件
  4. 测试验证

    • 测试访问小红书网站
    • 验证登录后能否正确导出cookies

疑问确认

在开始实现之前,我有几个问题需要确认:

  1. 导出位置:Cookie文件导出到固定目录,还是每次弹出文件保存对话框让用户选择? Answer:导出到当前目录,名称: 当前域名 加上 __cookies.txt
  2. 导出格式:是否只需要JSON格式(与示例一致),还是需要支持其他格式(如Netscape格式、Header格式)? Answer:先只采用这种Json格式,后续需要则再修改。
  3. Python版本:您本地Python版本是多少?(建议Python 3.8+) Answer: 我电脑的Python版本是Python 3.12.11
  4. 界面语言:界面需要中文还是英文? Answer: 中文 请确认上述问题后,我将开始实现。

我的补充问题:

  1. 你自己安装PyQt5/PyQt6 + QWebEngineView吗?
  2. 这个程序做完后,可以生成一个可执行文件吗?不一定要做成安装包。但是 如果我将目录复制到其他电脑就可以运行,能做到吗?是否一定要去目标电脑 安装了Python,及PyQt5/PyQt6 + QWebEngineView

三 自动评论

讨论一下怎么正对小红书某个主贴,进行回帖及回帖的再次回复的问题。 我的身份是:试管婴儿服务提供商,可以给用户提供的服务包括: 提供医院介绍和对接; 试管婴儿全周期跟进; 调理生殖健康的营养品保健品;

有需要的点我头像,私信进一步沟通。


小红书自动评论功能开发

我们按照上面的步骤,已经提前了有效的小红书cookies,下一步我们根据这个小红书xiaohongshu-cli实现的相同方式,针对小红书的主贴下面的回帖,进行回复。

项目下的ivf_notes.db文件,是sqlite数据库,对应的数据库表定义如下:

CREATE TABLE notes ( note_id TEXT PRIMARY KEY, -- 小红书笔记ID title TEXT, content TEXT, -- 预览内容 author_id TEXT, author_name TEXT, like_count INTEGER, comment_count INTEGER, -- 用于评估互动价值 keyword TEXT, -- 来源关键词 search_page INTEGER, collected_at TIMESTAMP, status TEXT DEFAULT 'new' -- new/commented/ignored ); CREATE INDEX idx_keyword ON notes(keyword); CREATE INDEX idx_author ON notes(author_id); CREATE INDEX idx_status ON notes(status); ** ivf_notes.db数据库,存储了2000多条小红书有效的主贴,我们取第一条数据,小红书笔记ID(如:68f3431f000000000703a73e ),找到第一个热点跟帖,进行回复。比如回复一个 “你好” 之类的文字 **

这个github 仓库 https://github.com/jackwener/xiaohongshu-cli 我已经克隆到xiaohongshu-cli目录

请读取ivf_notes.db内容,并分析xiaohongshu-cli如何评论小红书。然后提出你的实现方案,如果能够重用xiaohongshu-cli的代码,就重用。这个库应该也是使用python实现的。

如果有问题,请提问。没有问题,请给方案。然后再决定实施测试程序。


让我先查看数据库内容和xiaohongshu-cli的代码结构: 现在让我查找获取评论的方法: 现在我已经了解了代码结构。让我也查看一下cookies的处理方式: 现在我已经充分了解了代码结构。让我提出实现方案:


小红书自动评论功能 - 实现方案

需求分析

  1. 数据来源: ivf_notes.db 数据库中的 notes 表,包含2000+条小红书笔记
  2. 任务: 取第一条笔记,找到第一个热点跟帖,进行回复(如"你好")
  3. 技术基础: 复用 xiaohongshu-cli 的 XhsClient 类

核心API(已存在于xiaohongshu-cli)

方法 功能 所在文件
get_comments() 获取笔记评论列表 client_mixins.py
get_all_comments() 获取所有评论(分页) client_mixins.py
reply_comment() 回复指定评论 client_mixins.py
post_comment() 发表评论 client_mixins.py

实现方案

方案:创建独立脚本 auto_comment.py

复用 xiaohongshu-cli 的客户端,实现:

  1. 读取SQLite数据库获取笔记ID
  2. 使用 XhsClient 获取该笔记的评论列表
  3. 找到第一个评论(热点跟帖)
  4. 使用 reply_comment() 回复该评论

问题确认

  1. Cookie来源: 使用之前导出的 xiaohongshu_cookies.txt 还是 cookie_browser 导出的新cookie? Answer: 使用cookie_browser新导出的cookies。cookies还可能失效,或者平台判断为失效等! 最好,还需要判断cookies的有效性。(xiaohongshu-cli可能包含了怎么判断cookies有效)
  2. 回复内容: 固定回复"你好",还是需要支持自定义? Answer: 我们目前还是测试,只回复“你好”即可。你将评论ID 返回,或者打印出来。后续,我们还有新的开发任务!!!我一步步告诉你。
  3. 热点判断: "第一个热点跟帖"是指:
    • 第一条评论(时间最早)?
    • 点赞数最多的评论?
    • 还是只要第一条评论即可? Answer: 就用评论最多的吧,只是测试有效性。

请确认以上问题,我将立即实施代码。


帖子分析

主贴内容:科普试管一/二/三代区别(医生认证账号)
评论区现状:

  • 高赞评论:问三代筛选标准、问单身能否做试管

  • 讨论热点:单身试管合法性、胚胎质量筛选

💡 关于"怎么评判"

评论多的好处是:你能看到大家的关注点在哪,从而决定:

  1. 补充型评论 → 主贴没讲到的,你有经验可以补充

  2. 互动型评论 → 回复高赞评论,参与热门讨论

  3. 提问型评论 → 提出你的真实疑问,获得医生回复

方案1:多关键词分散搜索(推荐)

将"试管婴儿"拆分为细分关键词,分别搜索后去重:

核心词:

  • 试管婴儿

  • 试管之路

  • 三代试管

  • 试管经历

  • 试管日记

  • 试管成功率

  • 试管费用

  • 试管医院

人群词:

  • 备孕困难

  • 输卵管堵塞

  • 多囊试管

  • 卵巢早衰

  • 高龄试管

  • 试管双胞胎

情感词:

  • 试管焦虑

  • 试管失败

  • 试管成功

  • 试管加油