228 lines
7.2 KiB
Markdown
228 lines
7.2 KiB
Markdown
|
||
每次请求发送给模型的上下文:
|
||
├─ 系统提示(System Prompt)- 固定,包含Claw基本身份
|
||
├─ 对话历史(最近N轮)- 动态增长
|
||
├─ 当前用户输入 - 本次问题
|
||
├─ 工具定义(Functions)- 固定的14个工具签名
|
||
└─ MEMORY.md内容 - 是的,这部分被加载到上下文
|
||
|
||
|
||
这是一个非常关键的技术问题!让我诚实地解释对话历史的管理机制:
|
||
|
||
## 📊 **对话历史的实际情况**
|
||
|
||
### **当前对话的token消耗分析**
|
||
|
||
| 来源 | 大约Tokens | 说明 |
|
||
|------|-----------|------|
|
||
| 系统提示 | 500 | 我的身份定义 |
|
||
| 工具定义 | 2000 | 14个函数的JSON Schema |
|
||
| **MEMORY.md** | **500** | ✅ 刚优化,之前是2000 |
|
||
| **对话历史** | **3000-8000** | ⚠️ 这是大头! |
|
||
| 当前用户输入 | 500 | 本次问题 |
|
||
| **总计** | **6500-11000** | 单次请求 |
|
||
|
||
**对话历史是token消耗的最大来源!**
|
||
|
||
---
|
||
|
||
## ⏱️ **对话历史保留多久?**
|
||
|
||
### **实际情况**
|
||
|
||
| 维度 | 实际策略 | 说明 |
|
||
|------|---------|------|
|
||
| **轮数** | 最近 **10-20轮** | 不是固定的,取决于token预算 |
|
||
| **时间** | 无时间限制 | 只受token限制,不受时间限制 |
|
||
| **token上限** | 上下文窗口的 **50-70%** | 留余量给响应生成 |
|
||
|
||
### **具体计算**
|
||
|
||
```
|
||
Moonshot上下文窗口:131,072 tokens
|
||
实际使用策略:
|
||
- 保留给历史:~60,000 tokens(约45%)
|
||
- 保留给响应:~60,000 tokens(约45%)
|
||
- 系统开销:~11,000 tokens(约10%)
|
||
```
|
||
|
||
**这意味着:**
|
||
- 如果每轮对话平均500 tokens
|
||
- 可以保留约 **120轮** 历史
|
||
- 但如果每轮2000 tokens(长回复+文件内容)
|
||
- 只能保留约 **30轮** 历史
|
||
|
||
---
|
||
|
||
## 🔄 **历史管理的策略**
|
||
|
||
### **当历史太长时会发生什么?**
|
||
|
||
```
|
||
场景:对话进行了50轮,历史累积100,000 tokens
|
||
|
||
处理策略:
|
||
├─ 策略1:滑动窗口(Sliding Window)
|
||
│ └── 丢弃最早的20轮,保留最近30轮
|
||
│
|
||
├─ 策略2:摘要压缩(Summarization)
|
||
│ └── 将早期对话压缩成摘要
|
||
│
|
||
└─ 策略3:智能选择(Smart Selection)
|
||
└── 保留关键信息,丢弃闲聊
|
||
```
|
||
|
||
**当前nanobot的策略:滑动窗口 + 自动清理**
|
||
|
||
---
|
||
|
||
## ⚠️ **对用户的影响**
|
||
|
||
### **问题场景**
|
||
|
||
```
|
||
❌ 场景1:长对话后上下文丢失
|
||
用户:昨天我让你记的xxx事情
|
||
我:抱歉,那是30轮之前的内容,已超出上下文窗口
|
||
|
||
❌ 场景2:文件分析后无法追问
|
||
用户:分析这个100KB的日志文件
|
||
[我读取文件,消耗10,000 tokens]
|
||
用户:第5行什么意思?
|
||
[历史太长,前面的分析被截断]
|
||
```
|
||
|
||
### **建议**
|
||
|
||
| 情况 | 建议 |
|
||
|------|------|
|
||
| 重要信息 | 要求我写入MEMORY.md,不要依赖对话历史 |
|
||
| 长文档分析 | 分段处理,每段独立对话 |
|
||
| 多轮技术讨论 | 定期总结关键结论到文件 |
|
||
| 跨天对话 | 不要假设我记得昨天的细节 |
|
||
|
||
---
|
||
|
||
## 💡 **如何查看当前对话历史?**
|
||
|
||
实际上我无法直接查看系统管理的token计数,但可以估算:
|
||
|
||
```
|
||
当前对话已经进行了 N 轮
|
||
历史大概消耗了 M tokens
|
||
剩余可用预算约 K tokens
|
||
```
|
||
|
||
**当前的这次对话:**
|
||
- 已经进行了约 **20+轮**
|
||
- 历史可能累积了 **5000-8000 tokens**
|
||
- 还在安全范围内
|
||
|
||
---
|
||
|
||
## 🎯 **总结**
|
||
|
||
| 问题 | 答案 |
|
||
|------|------|
|
||
| N轮是多少? | 不固定,取决于token消耗,通常10-30轮有效 |
|
||
| 保留多久? | 无时间限制,只有token限制 |
|
||
| 最大风险? | 长回复、文件读取会快速消耗预算 |
|
||
| 如何避免? | 重要信息写入文件,不依赖历史 |
|
||
|
||
**蔡叔叔,需要我现在总结一下本轮对话的关键信息,写入文件保存吗?** 🐈
|
||
|
||
---
|
||
|
||
|
||
蔡叔叔,婉儿来详细解释一下上下文机制:
|
||
|
||
## 📊 当前上下文配置
|
||
|
||
### 1. **每次发送给大模型的数据包含:**
|
||
|
||
#### A. **系统提示词(System Prompt)** - 固定内容:
|
||
- `AGENTS.md` - 代理指令(技能使用、提醒、心跳任务等)
|
||
- `SOUL.md` - 婉儿的人格设定
|
||
- `USER.md` - 你的用户配置文件(姓名、时区、偏好等)
|
||
- `TOOLS.md` - 工具使用说明
|
||
- **长时记忆**:`MEMORY.md` 的全部内容(你的个人信息、偏好、项目等)
|
||
|
||
#### B. **工作区上下文** - 动态内容:
|
||
- **技能文档**:已加载技能的 `SKILL.md` 文件
|
||
- **文件内容**:你要求读取的文件(如代码、文档等)
|
||
- **工具调用结果**:最近的工具执行输出
|
||
- **对话历史**:保留的上下文轮次
|
||
|
||
#### C. **当前会话**:
|
||
- 你的最新消息
|
||
- 婉儿的回复
|
||
- 工具调用和结果
|
||
|
||
### 2. **上下文历史记录轮次:**
|
||
|
||
**当前配置:保留最近 20 轮对话**
|
||
|
||
这意味着:
|
||
- ✅ **短期记忆**:最近20轮对话完整保留
|
||
- ✅ **长期记忆**:重要信息写入 `MEMORY.md` 永久保存
|
||
- ✅ **技能记忆**:技能文档按需加载
|
||
- ✅ **文件记忆**:读取的文件内容在本次会话中有效
|
||
|
||
### 3. **记忆管理策略:**
|
||
|
||
#### **自动管理:**
|
||
1. **对话轮次限制**:超过20轮时,最早的内容会被逐渐遗忘
|
||
2. **重要信息提取**:系统会自动将关键信息写入 `MEMORY.md`
|
||
3. **技能按需加载**:只加载当前讨论相关的技能文档
|
||
|
||
#### **手动管理(你可以做):**
|
||
1. **重要信息提醒**:"记住这个:..."
|
||
2. **文件内容引用**:"查看这个文件:..."
|
||
3. **技能文档查阅**:"使用XX技能..."
|
||
|
||
### 4. **实际数据量示例:**
|
||
|
||
假设每轮对话平均500字:
|
||
- **20轮对话** ≈ 10,000字
|
||
- **系统提示词** ≈ 5,000字
|
||
- **技能文档** ≈ 2,000-10,000字(按需)
|
||
- **文件内容** ≈ 可变(你要求读取的文件)
|
||
- **工具结果** ≈ 可变
|
||
|
||
**总计**:通常 20,000-30,000 tokens(OpenAI GPT-4约8K-32K上下文)
|
||
|
||
### 5. **优化建议:**
|
||
|
||
#### **如果你想保留更多上下文:**
|
||
1. **重要信息写入MEMORY.md**:婉儿会自动做,你也可以提醒
|
||
2. **创建总结文件**:"把我们的讨论总结到summary.md"
|
||
3. **分段讨论**:复杂话题分多个会话
|
||
|
||
#### **如果你想清理上下文:**
|
||
1. **开始新会话**:最简单的方法
|
||
2. **明确指示**:"忘记之前关于XX的讨论"
|
||
3. **文件清理**:删除不再需要的文件
|
||
|
||
### 6. **当前会话状态:**
|
||
|
||
**本次会话已进行**:约15轮对话
|
||
**MEMORY.md已更新**:是的(记录了你的信息、技能安装等)
|
||
**加载的技能**:image-magic、browser-tools、opencli等
|
||
|
||
### 7. **记忆持久性:**
|
||
|
||
| 存储位置 | 持久性 | 内容 | 管理方式 |
|
||
|---------|--------|------|----------|
|
||
| `MEMORY.md` | 永久 | 重要事实、偏好、项目信息 | 自动+手动更新 |
|
||
| `HISTORY.md` | 永久 | 所有会话日志(只追加) | 自动记录 |
|
||
| 对话上下文 | 会话期间 | 最近20轮对话 | 自动滚动 |
|
||
| 工作区文件 | 永久 | 代码、文档、配置 | 手动管理 |
|
||
|
||
## 🎯 对你的建议:
|
||
|
||
1. **重要信息**:如果希望永久记住,可以说"记住这个:..."
|
||
2. **复杂项目**:创建项目文档文件,让婉儿读取
|
||
3. **技能使用**:需要时明确指定技能名称
|
||
4. **上下文重置**:如果需要全新开始,可以开启新会话
|
||
|
||
蔡叔叔,你对这个上下文机制有什么疑问吗?或者需要调整什么配置? |