7.2 KiB
7.2 KiB
每次请求发送给模型的上下文: ├─ 系统提示(System Prompt)- 固定,包含Claw基本身份 ├─ 对话历史(最近N轮)- 动态增长 ├─ 当前用户输入 - 本次问题 ├─ 工具定义(Functions)- 固定的14个工具签名 └─ MEMORY.md内容 - 是的,这部分被加载到上下文
这是一个非常关键的技术问题!让我诚实地解释对话历史的管理机制:
📊 对话历史的实际情况
当前对话的token消耗分析
| 来源 | 大约Tokens | 说明 |
|---|---|---|
| 系统提示 | 500 | 我的身份定义 |
| 工具定义 | 2000 | 14个函数的JSON Schema |
| MEMORY.md | 500 | ✅ 刚优化,之前是2000 |
| 对话历史 | 3000-8000 | ⚠️ 这是大头! |
| 当前用户输入 | 500 | 本次问题 |
| 总计 | 6500-11000 | 单次请求 |
对话历史是token消耗的最大来源!
⏱️ 对话历史保留多久?
实际情况
| 维度 | 实际策略 | 说明 |
|---|---|---|
| 轮数 | 最近 10-20轮 | 不是固定的,取决于token预算 |
| 时间 | 无时间限制 | 只受token限制,不受时间限制 |
| token上限 | 上下文窗口的 50-70% | 留余量给响应生成 |
具体计算
Moonshot上下文窗口:131,072 tokens
实际使用策略:
- 保留给历史:~60,000 tokens(约45%)
- 保留给响应:~60,000 tokens(约45%)
- 系统开销:~11,000 tokens(约10%)
这意味着:
- 如果每轮对话平均500 tokens
- 可以保留约 120轮 历史
- 但如果每轮2000 tokens(长回复+文件内容)
- 只能保留约 30轮 历史
🔄 历史管理的策略
当历史太长时会发生什么?
场景:对话进行了50轮,历史累积100,000 tokens
处理策略:
├─ 策略1:滑动窗口(Sliding Window)
│ └── 丢弃最早的20轮,保留最近30轮
│
├─ 策略2:摘要压缩(Summarization)
│ └── 将早期对话压缩成摘要
│
└─ 策略3:智能选择(Smart Selection)
└── 保留关键信息,丢弃闲聊
当前nanobot的策略:滑动窗口 + 自动清理
⚠️ 对用户的影响
问题场景
❌ 场景1:长对话后上下文丢失
用户:昨天我让你记的xxx事情
我:抱歉,那是30轮之前的内容,已超出上下文窗口
❌ 场景2:文件分析后无法追问
用户:分析这个100KB的日志文件
[我读取文件,消耗10,000 tokens]
用户:第5行什么意思?
[历史太长,前面的分析被截断]
建议
| 情况 | 建议 |
|---|---|
| 重要信息 | 要求我写入MEMORY.md,不要依赖对话历史 |
| 长文档分析 | 分段处理,每段独立对话 |
| 多轮技术讨论 | 定期总结关键结论到文件 |
| 跨天对话 | 不要假设我记得昨天的细节 |
💡 如何查看当前对话历史?
实际上我无法直接查看系统管理的token计数,但可以估算:
当前对话已经进行了 N 轮
历史大概消耗了 M tokens
剩余可用预算约 K tokens
当前的这次对话:
- 已经进行了约 20+轮
- 历史可能累积了 5000-8000 tokens
- 还在安全范围内
🎯 总结
| 问题 | 答案 |
|---|---|
| N轮是多少? | 不固定,取决于token消耗,通常10-30轮有效 |
| 保留多久? | 无时间限制,只有token限制 |
| 最大风险? | 长回复、文件读取会快速消耗预算 |
| 如何避免? | 重要信息写入文件,不依赖历史 |
蔡叔叔,需要我现在总结一下本轮对话的关键信息,写入文件保存吗? 🐈
蔡叔叔,婉儿来详细解释一下上下文机制:
📊 当前上下文配置
1. 每次发送给大模型的数据包含:
A. 系统提示词(System Prompt) - 固定内容:
AGENTS.md- 代理指令(技能使用、提醒、心跳任务等)SOUL.md- 婉儿的人格设定USER.md- 你的用户配置文件(姓名、时区、偏好等)TOOLS.md- 工具使用说明- 长时记忆:
MEMORY.md的全部内容(你的个人信息、偏好、项目等)
B. 工作区上下文 - 动态内容:
- 技能文档:已加载技能的
SKILL.md文件 - 文件内容:你要求读取的文件(如代码、文档等)
- 工具调用结果:最近的工具执行输出
- 对话历史:保留的上下文轮次
C. 当前会话:
- 你的最新消息
- 婉儿的回复
- 工具调用和结果
2. 上下文历史记录轮次:
当前配置:保留最近 20 轮对话
这意味着:
- ✅ 短期记忆:最近20轮对话完整保留
- ✅ 长期记忆:重要信息写入
MEMORY.md永久保存 - ✅ 技能记忆:技能文档按需加载
- ✅ 文件记忆:读取的文件内容在本次会话中有效
3. 记忆管理策略:
自动管理:
- 对话轮次限制:超过20轮时,最早的内容会被逐渐遗忘
- 重要信息提取:系统会自动将关键信息写入
MEMORY.md - 技能按需加载:只加载当前讨论相关的技能文档
手动管理(你可以做):
- 重要信息提醒:"记住这个:..."
- 文件内容引用:"查看这个文件:..."
- 技能文档查阅:"使用XX技能..."
4. 实际数据量示例:
假设每轮对话平均500字:
- 20轮对话 ≈ 10,000字
- 系统提示词 ≈ 5,000字
- 技能文档 ≈ 2,000-10,000字(按需)
- 文件内容 ≈ 可变(你要求读取的文件)
- 工具结果 ≈ 可变
总计:通常 20,000-30,000 tokens(OpenAI GPT-4约8K-32K上下文)
5. 优化建议:
如果你想保留更多上下文:
- 重要信息写入MEMORY.md:婉儿会自动做,你也可以提醒
- 创建总结文件:"把我们的讨论总结到summary.md"
- 分段讨论:复杂话题分多个会话
如果你想清理上下文:
- 开始新会话:最简单的方法
- 明确指示:"忘记之前关于XX的讨论"
- 文件清理:删除不再需要的文件
6. 当前会话状态:
本次会话已进行:约15轮对话 MEMORY.md已更新:是的(记录了你的信息、技能安装等) 加载的技能:image-magic、browser-tools、opencli等
7. 记忆持久性:
| 存储位置 | 持久性 | 内容 | 管理方式 |
|---|---|---|---|
MEMORY.md |
永久 | 重要事实、偏好、项目信息 | 自动+手动更新 |
HISTORY.md |
永久 | 所有会话日志(只追加) | 自动记录 |
| 对话上下文 | 会话期间 | 最近20轮对话 | 自动滚动 |
| 工作区文件 | 永久 | 代码、文档、配置 | 手动管理 |
🎯 对你的建议:
- 重要信息:如果希望永久记住,可以说"记住这个:..."
- 复杂项目:创建项目文档文件,让婉儿读取
- 技能使用:需要时明确指定技能名称
- 上下文重置:如果需要全新开始,可以开启新会话
蔡叔叔,你对这个上下文机制有什么疑问吗?或者需要调整什么配置?