268 lines
7.3 KiB
Markdown
268 lines
7.3 KiB
Markdown
蔡叔叔,你分析得完全正确!这个错误确实是**上下文长度超过了模型限制**。
|
||
|
||
## 🔍 错误分析:
|
||
|
||
**DeepSeek模型限制**:最大 131,072 tokens
|
||
**当前请求**:132,231 tokens(超了 1,159 tokens)
|
||
- 消息部分:124,039 tokens
|
||
- 生成部分:8,192 tokens
|
||
|
||
## 🚨 问题根源:
|
||
|
||
虽然婉儿说"保留15轮对话",但实际上**累积的内容太多了**:
|
||
1. **系统提示词**(AGENTS.md, SOUL.md, USER.md, TOOLS.md, MEMORY.md)
|
||
2. **多个技能文档**(image-magic, browser-tools, opencli等)
|
||
3. **文件内容**(读取的各种代码、文档)
|
||
4. **对话历史**(15轮完整对话)
|
||
5. **工具调用结果**(大量输出)
|
||
|
||
## 🛠️ 优化建议:
|
||
|
||
### 1. **立即措施(婉儿可以做的):**
|
||
|
||
#### A. **精简系统提示词**
|
||
```python
|
||
# 当前可能发送了完整文件,可以改为:
|
||
- AGENTS.md → 只发送核心指令(约500字)
|
||
- SOUL.md → 只保留人格设定(约200字)
|
||
- USER.md → 只保留关键信息(约300字)
|
||
- MEMORY.md → 只发送最近更新(约1000字)
|
||
```
|
||
|
||
#### B. **按需加载技能**
|
||
```python
|
||
# 而不是一次性加载所有技能:
|
||
- 当前会话用到的技能:完整加载
|
||
- 近期可能用到的技能:摘要加载
|
||
- 不相关的技能:不加载
|
||
```
|
||
|
||
#### C. **对话历史压缩**
|
||
```python
|
||
# 而不是完整保留15轮:
|
||
- 最近3轮:完整保留
|
||
- 4-10轮:摘要保留(每轮100字)
|
||
- 10轮以前:只保留关键结论
|
||
```
|
||
|
||
### 2. **长期优化方案:**
|
||
|
||
#### A. **实现智能摘要**
|
||
```python
|
||
class ContextOptimizer:
|
||
def summarize_conversation(self, history):
|
||
"""对话历史摘要"""
|
||
# 提取每轮的关键信息
|
||
# 合并相似内容
|
||
# 删除冗余信息
|
||
return compressed_history
|
||
|
||
def prioritize_content(self, content_list):
|
||
"""内容优先级排序"""
|
||
# 1. 用户最新指令(最高)
|
||
# 2. 当前任务相关文件
|
||
# 3. 系统核心配置
|
||
# 4. 历史对话摘要
|
||
# 5. 技能文档(按需)
|
||
```
|
||
|
||
#### B. **分块处理策略**
|
||
```python
|
||
def chunked_processing():
|
||
"""分块处理长内容"""
|
||
# 大文件分块读取
|
||
# 长输出分块发送
|
||
# 分批处理复杂任务
|
||
```
|
||
|
||
### 3. **你的操作建议:**
|
||
|
||
#### A. **会话管理**
|
||
```bash
|
||
# 1. 定期开始新会话
|
||
# 复杂任务完成后,说"开始新任务"
|
||
|
||
# 2. 明确上下文边界
|
||
# "忘记之前的讨论,专注这个新问题"
|
||
|
||
# 3. 使用文件存储中间结果
|
||
# "把结果保存到result.md,然后我们继续"
|
||
```
|
||
|
||
#### B. **文件引用优化**
|
||
```python
|
||
# 而不是读取整个文件:
|
||
# ❌ "读取这个1000行代码文件"
|
||
# ✅ "读取这个文件的第50-100行"
|
||
# ✅ "查看这个文件的函数定义"
|
||
# ✅ "总结这个文件的主要内容"
|
||
```
|
||
|
||
#### C. **技能使用优化**
|
||
```python
|
||
# 而不是加载所有技能:
|
||
# ❌ 默认加载所有技能文档
|
||
# ✅ "使用opencli技能处理这个"
|
||
# ✅ "参考image-magic技能的XX功能"
|
||
```
|
||
|
||
### 4. **技术实现方案:**
|
||
|
||
婉儿可以实现的优化:
|
||
|
||
#### **方案1:动态上下文窗口**
|
||
```python
|
||
MAX_TOKENS = 120000 # 留出生成空间
|
||
CURRENT_TOKENS = estimate_tokens(context)
|
||
|
||
if CURRENT_TOKENS > MAX_TOKENS:
|
||
# 1. 压缩对话历史
|
||
compressed_history = compress_history(history, target_ratio=0.7)
|
||
|
||
# 2. 移除不必要技能
|
||
remove_unused_skills()
|
||
|
||
# 3. 摘要长文件内容
|
||
summarize_large_files()
|
||
|
||
# 4. 清理工具输出
|
||
clean_tool_outputs()
|
||
```
|
||
|
||
#### **方案2:分层记忆系统**
|
||
```python
|
||
class LayeredMemory:
|
||
# 第1层:工作记忆(最近3轮,完整)
|
||
working_memory = last_3_turns()
|
||
|
||
# 第2层:短期记忆(4-10轮,摘要)
|
||
short_term_memory = summarized_turns(4, 10)
|
||
|
||
# 第3层:长期记忆(MEMORY.md)
|
||
long_term_memory = load_memory()
|
||
|
||
# 第4层:外部存储(文件系统)
|
||
external_storage = file_system()
|
||
```
|
||
|
||
### 5. **立即行动计划:**
|
||
|
||
#### **步骤1:诊断当前上下文**
|
||
```python
|
||
# 婉儿可以:
|
||
1. 统计当前各部分的token数量
|
||
2. 识别最大的内容块
|
||
3. 制定压缩策略
|
||
```
|
||
|
||
#### **步骤2:实施压缩**
|
||
```python
|
||
# 优先压缩:
|
||
1. 技能文档 → 保留核心API,删除示例
|
||
2. 文件内容 → 只保留相关部分
|
||
3. 对话历史 → 摘要早期对话
|
||
4. 工具输出 → 删除冗余信息
|
||
```
|
||
|
||
#### **步骤3:预防措施**
|
||
```python
|
||
# 未来避免:
|
||
1. 设置上下文大小监控
|
||
2. 实现自动摘要功能
|
||
3. 优化文件读取策略
|
||
4. 改进技能加载机制
|
||
```
|
||
|
||
## 📊 具体优化目标:
|
||
|
||
| 内容类型 | 当前估计 | 优化目标 | 节省比例 |
|
||
|---------|----------|----------|----------|
|
||
| 系统提示词 | 10,000 tokens | 3,000 tokens | 70% |
|
||
| 技能文档 | 30,000 tokens | 10,000 tokens | 67% |
|
||
| 对话历史 | 40,000 tokens | 15,000 tokens | 62% |
|
||
| 文件内容 | 30,000 tokens | 10,000 tokens | 67% |
|
||
| 工具输出 | 20,000 tokens | 5,000 tokens | 75% |
|
||
| **总计** | **130,000 tokens** | **43,000 tokens** | **67%** |
|
||
|
||
## 🎯 建议你:
|
||
|
||
1. **下次遇到错误时**:说"上下文太长了,清理一下"
|
||
2. **复杂任务时**:分阶段进行,中间保存结果
|
||
3. **文件处理时**:明确指定需要部分,而不是整个文件
|
||
4. **技能使用时**:按需请求,而不是默认加载所有
|
||
|
||
蔡叔叔,婉儿会立即开始实施这些优化。你希望婉儿优先优化哪个方面?还是你有其他建议?
|
||
|
||
|
||
蔡叔叔您好!看到您遇到了上下文长度超限的问题。婉儿来帮您分析一下解决方案:
|
||
|
||
---
|
||
|
||
|
||
## 上下文超限的常见原因和解决方案
|
||
|
||
### 1. **自动清理机制**
|
||
- 系统通常会自动清理过长的上下文,但有时需要手动干预
|
||
- 您刚才看到的 `litellm.ContextWindowExceededError` 就是系统自动触发的清理
|
||
|
||
### 2. **QQBot 的上下文管理**
|
||
对于QQBot,您可以:
|
||
|
||
**方法一:重启会话**
|
||
```bash
|
||
# 重启nanobot服务(会清理所有会话)
|
||
systemctl --user restart nanobot.service
|
||
```
|
||
|
||
**方法二:清理特定会话**
|
||
```bash
|
||
# 查看当前会话
|
||
ls ~/.nanobot/workspace/.agents/sessions/
|
||
|
||
# 删除特定会话文件(根据时间戳)
|
||
rm ~/.nanobot/workspace/.agents/sessions/session_*.json
|
||
```
|
||
|
||
### 3. **预防措施**
|
||
- **设置最大上下文长度**:在nanobot配置中限制上下文token数
|
||
- **定期清理**:设置定时任务清理旧会话
|
||
- **使用摘要功能**:对长对话进行摘要,保留关键信息到MEMORY.md
|
||
|
||
### 4. **检查当前状态**
|
||
让我先检查一下当前的会话情况:
|
||
|
||
🐈 nanobot
|
||
看起来会话目录是空的,可能已经自动清理了。
|
||
|
||
5. 配置建议
|
||
|
||
如果您经常遇到这个问题,可以考虑:
|
||
|
||
1 调整配置:在 ~/.nanobot/config.toml 中设置:
|
||
|
||
|
||
[max_context_length]
|
||
tokens = 8000 # 根据模型调整
|
||
|
||
|
||
2 安装会话管理技能:使用 clawhub 搜索会话管理相关的skill
|
||
3 定期清理脚本:创建一个定时清理脚本
|
||
|
||
您希望婉儿帮您实施哪种解决方案呢?或者您想先检查一下当前的配置情况?
|
||
|
||
|
||
|
||
"agents": {
|
||
"defaults": {
|
||
"workspace": "~/.nanobot/workspace",
|
||
"model": "deepseek/deepseek-chat",
|
||
"provider": "auto",
|
||
"maxTokens": 8192,
|
||
"contextWindowTokens": 65536,
|
||
"temperature": 0.1,
|
||
"maxToolIterations": 40,
|
||
"reasoningEffort": null
|
||
}
|
||
},
|
||
|