Files
Obsidian/MyBestNanobot/Nanobot怎么优化上下文.md
coco 8b94d76799 a
2026-07-21 13:57:15 +08:00

268 lines
7.3 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
蔡叔叔,你分析得完全正确!这个错误确实是**上下文长度超过了模型限制**。
## 🔍 错误分析:
**DeepSeek模型限制**:最大 131,072 tokens
**当前请求**:132,231 tokens(超了 1,159 tokens)
- 消息部分:124,039 tokens
- 生成部分:8,192 tokens
## 🚨 问题根源:
虽然婉儿说"保留15轮对话",但实际上**累积的内容太多了**:
1. **系统提示词**(AGENTS.md, SOUL.md, USER.md, TOOLS.md, MEMORY.md)
2. **多个技能文档**(image-magic, browser-tools, opencli等)
3. **文件内容**(读取的各种代码、文档)
4. **对话历史**(15轮完整对话)
5. **工具调用结果**(大量输出)
## 🛠️ 优化建议:
### 1. **立即措施(婉儿可以做的):**
#### A. **精简系统提示词**
```python
# 当前可能发送了完整文件,可以改为:
- AGENTS.md → 只发送核心指令(约500字)
- SOUL.md → 只保留人格设定(约200字)
- USER.md → 只保留关键信息(约300字)
- MEMORY.md → 只发送最近更新(约1000字)
```
#### B. **按需加载技能**
```python
# 而不是一次性加载所有技能:
- 当前会话用到的技能:完整加载
- 近期可能用到的技能:摘要加载
- 不相关的技能:不加载
```
#### C. **对话历史压缩**
```python
# 而不是完整保留15轮:
- 最近3轮:完整保留
- 4-10轮:摘要保留(每轮100字)
- 10轮以前:只保留关键结论
```
### 2. **长期优化方案:**
#### A. **实现智能摘要**
```python
class ContextOptimizer:
def summarize_conversation(self, history):
"""对话历史摘要"""
# 提取每轮的关键信息
# 合并相似内容
# 删除冗余信息
return compressed_history
def prioritize_content(self, content_list):
"""内容优先级排序"""
# 1. 用户最新指令(最高)
# 2. 当前任务相关文件
# 3. 系统核心配置
# 4. 历史对话摘要
# 5. 技能文档(按需)
```
#### B. **分块处理策略**
```python
def chunked_processing():
"""分块处理长内容"""
# 大文件分块读取
# 长输出分块发送
# 分批处理复杂任务
```
### 3. **你的操作建议:**
#### A. **会话管理**
```bash
# 1. 定期开始新会话
# 复杂任务完成后,说"开始新任务"
# 2. 明确上下文边界
# "忘记之前的讨论,专注这个新问题"
# 3. 使用文件存储中间结果
# "把结果保存到result.md,然后我们继续"
```
#### B. **文件引用优化**
```python
# 而不是读取整个文件:
# ❌ "读取这个1000行代码文件"
# ✅ "读取这个文件的第50-100行"
# ✅ "查看这个文件的函数定义"
# ✅ "总结这个文件的主要内容"
```
#### C. **技能使用优化**
```python
# 而不是加载所有技能:
# ❌ 默认加载所有技能文档
# ✅ "使用opencli技能处理这个"
# ✅ "参考image-magic技能的XX功能"
```
### 4. **技术实现方案:**
婉儿可以实现的优化:
#### **方案1:动态上下文窗口**
```python
MAX_TOKENS = 120000 # 留出生成空间
CURRENT_TOKENS = estimate_tokens(context)
if CURRENT_TOKENS > MAX_TOKENS:
# 1. 压缩对话历史
compressed_history = compress_history(history, target_ratio=0.7)
# 2. 移除不必要技能
remove_unused_skills()
# 3. 摘要长文件内容
summarize_large_files()
# 4. 清理工具输出
clean_tool_outputs()
```
#### **方案2:分层记忆系统**
```python
class LayeredMemory:
# 第1层:工作记忆(最近3轮,完整)
working_memory = last_3_turns()
# 第2层:短期记忆(4-10轮,摘要)
short_term_memory = summarized_turns(4, 10)
# 第3层:长期记忆(MEMORY.md)
long_term_memory = load_memory()
# 第4层:外部存储(文件系统)
external_storage = file_system()
```
### 5. **立即行动计划:**
#### **步骤1:诊断当前上下文**
```python
# 婉儿可以:
1. 统计当前各部分的token数量
2. 识别最大的内容块
3. 制定压缩策略
```
#### **步骤2:实施压缩**
```python
# 优先压缩:
1. 技能文档 → 保留核心API,删除示例
2. 文件内容 → 只保留相关部分
3. 对话历史 → 摘要早期对话
4. 工具输出 → 删除冗余信息
```
#### **步骤3:预防措施**
```python
# 未来避免:
1. 设置上下文大小监控
2. 实现自动摘要功能
3. 优化文件读取策略
4. 改进技能加载机制
```
## 📊 具体优化目标:
| 内容类型 | 当前估计 | 优化目标 | 节省比例 |
|---------|----------|----------|----------|
| 系统提示词 | 10,000 tokens | 3,000 tokens | 70% |
| 技能文档 | 30,000 tokens | 10,000 tokens | 67% |
| 对话历史 | 40,000 tokens | 15,000 tokens | 62% |
| 文件内容 | 30,000 tokens | 10,000 tokens | 67% |
| 工具输出 | 20,000 tokens | 5,000 tokens | 75% |
| **总计** | **130,000 tokens** | **43,000 tokens** | **67%** |
## 🎯 建议你:
1. **下次遇到错误时**:说"上下文太长了,清理一下"
2. **复杂任务时**:分阶段进行,中间保存结果
3. **文件处理时**:明确指定需要部分,而不是整个文件
4. **技能使用时**:按需请求,而不是默认加载所有
蔡叔叔,婉儿会立即开始实施这些优化。你希望婉儿优先优化哪个方面?还是你有其他建议?
蔡叔叔您好!看到您遇到了上下文长度超限的问题。婉儿来帮您分析一下解决方案:
---
## 上下文超限的常见原因和解决方案
### 1. **自动清理机制**
- 系统通常会自动清理过长的上下文,但有时需要手动干预
- 您刚才看到的 `litellm.ContextWindowExceededError` 就是系统自动触发的清理
### 2. **QQBot 的上下文管理**
对于QQBot,您可以:
**方法一:重启会话**
```bash
# 重启nanobot服务(会清理所有会话)
systemctl --user restart nanobot.service
```
**方法二:清理特定会话**
```bash
# 查看当前会话
ls ~/.nanobot/workspace/.agents/sessions/
# 删除特定会话文件(根据时间戳)
rm ~/.nanobot/workspace/.agents/sessions/session_*.json
```
### 3. **预防措施**
- **设置最大上下文长度**:在nanobot配置中限制上下文token数
- **定期清理**:设置定时任务清理旧会话
- **使用摘要功能**:对长对话进行摘要,保留关键信息到MEMORY.md
### 4. **检查当前状态**
让我先检查一下当前的会话情况:
🐈 nanobot
看起来会话目录是空的,可能已经自动清理了。
5. 配置建议
如果您经常遇到这个问题,可以考虑:
1 调整配置:在 ~/.nanobot/config.toml 中设置:
[max_context_length]
tokens = 8000 # 根据模型调整
2 安装会话管理技能:使用 clawhub 搜索会话管理相关的skill
3 定期清理脚本:创建一个定时清理脚本
您希望婉儿帮您实施哪种解决方案呢?或者您想先检查一下当前的配置情况?
"agents": {
"defaults": {
"workspace": "~/.nanobot/workspace",
"model": "deepseek/deepseek-chat",
"provider": "auto",
"maxTokens": 8192,
"contextWindowTokens": 65536,
"temperature": 0.1,
"maxToolIterations": 40,
"reasoningEffort": null
}
},