1319 lines
40 KiB
Markdown
1319 lines
40 KiB
Markdown
开始新对话。我们继续LangChain的话题。
|
||
我已经安装了langgraph,chromadb,使用以下命令:
|
||
pip install -U langgraph
|
||
sudo npm install @langchain/langgraph @langchain/core
|
||
pip install chromadb langchain-chroma
|
||
pip install -U langchain chromadb langchain-chroma pypdf python-docx pandas langchain-text-splitters
|
||
|
||
你在nanocode目录下建立一个客服项目?我们来构建一个最简单版本的客服系统?你有什么想法,怎么做合适?
|
||
|
||
---
|
||
|
||
---
|
||
|
||
## ✅ 客服系统服务化完成!
|
||
|
||
### 📋 服务信息
|
||
|
||
| 项目 | 详情 |
|
||
|------|------|
|
||
| **服务名** | `ai-chatbot.service` |
|
||
| **状态** | ✅ 运行中 (Active: running) |
|
||
| **开机自启** | ✅ 已启用 |
|
||
| **端口** | 8890 |
|
||
| **内存** | 约 1GB |
|
||
| **PID** | 890148 |
|
||
|
||
### 🛠️ 常用管理命令
|
||
|
||
```bash
|
||
# 查看状态
|
||
sudo systemctl status ai-chatbot.service
|
||
|
||
# 重启服务
|
||
sudo systemctl restart ai-chatbot.service
|
||
|
||
# 停止服务
|
||
sudo systemctl stop ai-chatbot.service
|
||
|
||
# 查看日志
|
||
sudo journalctl -u ai-chatbot.service -f
|
||
|
||
# 开机自启管理
|
||
sudo systemctl enable ai-chatbot.service # 启用
|
||
sudo systemctl disable ai-chatbot.service # 禁用
|
||
```
|
||
|
||
### 📊 当前运行状态
|
||
|
||
```
|
||
● ai-chatbot.service - AI Chatbot Service
|
||
Active: active (running)
|
||
Memory: 1.0G
|
||
Port: 0.0.0.0:8890
|
||
Health: {"status":"ok","service":"ai-chatbot"}
|
||
```
|
||
|
||
---
|
||
|
||
**系统重启后会自动启动!** 后续我们可以一步步优化这个客服系统 🚀
|
||
|
||
想优化什么方向?比如:
|
||
- 添加更多知识库文档
|
||
- 接入MCP工具
|
||
- 混合模式(通用知识+专业领域)
|
||
- 意图识别增强
|
||
-
|
||
|
||
|
||
---
|
||
|
||
基于你的服务器环境(4GB内存),我来设计一个**完整的 AI 客服系统架构**:
|
||
|
||
---
|
||
|
||
## 🏗️ AI 客服系统整体架构
|
||
|
||
```
|
||
┌─────────────────────────────────────────────────────────────┐
|
||
│ 用户交互层 │
|
||
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────────────┐ │
|
||
│ │ Web 聊天框 │ │ 微信/飞书 │ │ API (REST/WebSocket)│ │
|
||
│ └─────────────┘ └─────────────┘ └─────────────────────┘ │
|
||
└──────────────────────────┬──────────────────────────────────┘
|
||
│
|
||
┌──────────────────────────▼──────────────────────────────────┐
|
||
│ LangChain 客服引擎 │
|
||
│ ┌──────────────────────────────────────────────────────┐ │
|
||
│ │ LangGraph 工作流 (对话状态管理) │ │
|
||
│ │ ┌──────────┐ ┌──────────┐ ┌──────────────┐ │ │
|
||
│ │ │ 意图识别 │ → │ 知识检索 │ → │ 生成回答 │ │ │
|
||
│ │ └──────────┘ └──────────┘ └──────────────┘ │ │
|
||
│ │ ↓ ↓ ↓ │ │
|
||
│ │ ┌──────────┐ ┌──────────┐ ┌──────────────┐ │ │
|
||
│ │ │ 工具调用 │ │ 历史记忆 │ │ 人工接管 │ │ │
|
||
│ │ └──────────┘ └──────────┘ └──────────────┘ │ │
|
||
│ └──────────────────────────────────────────────────────┘ │
|
||
└──────────────────────────┬──────────────────────────────────┘
|
||
│
|
||
┌──────────────────────────▼──────────────────────────────────┐
|
||
│ 数据/工具层 │
|
||
│ ┌────────────┐ ┌────────────┐ ┌────────────────────┐ │
|
||
│ │ 知识库(RAG)│ │ 订单系统API │ │ 对话历史数据库 │ │
|
||
│ │ (Chroma) │ │ (函数工具) │ │ (SQLite/PostgreSQL)│ │
|
||
│ └────────────┘ └────────────┘ └────────────────────┘ │
|
||
└─────────────────────────────────────────────────────────────┘
|
||
```
|
||
|
||
---
|
||
|
||
## 📋 核心模块设计
|
||
|
||
### 1️⃣ 意图识别模块
|
||
```python
|
||
# 识别用户意图:咨询/投诉/查订单/转人工
|
||
from langchain_core.messages import HumanMessage
|
||
from langgraph.graph import StateGraph
|
||
|
||
def intent_classifier(state):
|
||
"""识别用户意图"""
|
||
intents = {
|
||
"faq": "常见问题咨询",
|
||
"order": "订单查询",
|
||
"complaint": "投诉建议",
|
||
"human": "转人工",
|
||
"other": "其他"
|
||
}
|
||
# 用 LLM 判断意图
|
||
return {"intent": detected_intent}
|
||
```
|
||
|
||
### 2️⃣ RAG 知识库检索
|
||
```python
|
||
from langchain_chroma import Chroma
|
||
from langchain_openai import OpenAIEmbeddings
|
||
|
||
# 向量数据库(轻量,适合4GB内存)
|
||
vectorstore = Chroma(
|
||
collection_name="customer_service_kb",
|
||
embedding_function=OpenAIEmbeddings(api_key="your-key"),
|
||
persist_directory="./chroma_db"
|
||
)
|
||
|
||
# 检索相关知识
|
||
retriever = vectorstore.as_retriever(search_kwargs={"k": 3})
|
||
```
|
||
|
||
### 3️⃣ 工具调用(查订单/退款等)
|
||
```python
|
||
from langchain_core.tools import tool
|
||
|
||
@tool
|
||
def query_order(order_id: str):
|
||
"""查询订单状态"""
|
||
# 调用你的订单系统API
|
||
return {"status": "已发货", "tracking": "SF123456"}
|
||
|
||
@tool
|
||
def create_ticket(issue: str, user_id: str):
|
||
"""创建工单"""
|
||
# 写入工单系统
|
||
return {"ticket_id": "TK-2024-001"}
|
||
|
||
tools = [query_order, create_ticket]
|
||
```
|
||
|
||
### 4️⃣ 对话记忆管理
|
||
```python
|
||
from langgraph.checkpoint.memory import MemorySaver
|
||
|
||
# 基于内存的对话状态(可换成 PostgreSQL 持久化)
|
||
checkpointer = MemorySaver()
|
||
|
||
# 每个用户独立会话
|
||
config = {"configurable": {"thread_id": "user_123"}}
|
||
```
|
||
|
||
---
|
||
|
||
## 🔄 客服工作流程 (LangGraph)
|
||
|
||
```python
|
||
from langgraph.graph import StateGraph, END
|
||
from typing import TypedDict, Annotated
|
||
import operator
|
||
|
||
class State(TypedDict):
|
||
messages: Annotated[list, operator.add] # 对话历史
|
||
intent: str # 识别的意图
|
||
context: str # 检索的知识
|
||
needs_human: bool # 是否需要人工
|
||
|
||
# 定义工作流
|
||
workflow = StateGraph(State)
|
||
|
||
# 添加节点
|
||
workflow.add_node("classify_intent", classify_intent)
|
||
workflow.add_node("retrieve_knowledge", retrieve_knowledge)
|
||
workflow.add_node("handle_order", handle_order_query)
|
||
workflow.add_node("generate_response", generate_response)
|
||
workflow.add_node("escalate_human", escalate_to_human)
|
||
|
||
# 定义边(条件路由)
|
||
workflow.add_conditional_edges(
|
||
"classify_intent",
|
||
route_by_intent,
|
||
{
|
||
"faq": "retrieve_knowledge",
|
||
"order": "handle_order",
|
||
"human": "escalate_human"
|
||
}
|
||
)
|
||
|
||
# 编译
|
||
app = workflow.compile(checkpointer=checkpointer)
|
||
```
|
||
|
||
---
|
||
|
||
## 🗄️ 数据存储方案(适合你的环境)
|
||
|
||
| 组件 | 推荐方案 | 内存占用 |
|
||
|------|---------|---------|
|
||
| **向量数据库** | Chroma (本地) | ~200MB |
|
||
| **对话历史** | SQLite | ~50MB |
|
||
| **应用服务** | FastAPI + Uvicorn | ~200MB |
|
||
| **总计** | | **< 1GB** |
|
||
|
||
**完全适合你的 4GB 服务器!**
|
||
|
||
---
|
||
|
||
## 🚀 部署架构(你的服务器)
|
||
|
||
```
|
||
服务器 (4GB RAM, Ubuntu)
|
||
│
|
||
├── Docker Compose
|
||
│ │
|
||
│ ├── app (FastAPI + LangChain) ← 主服务
|
||
│ ├── chroma (向量数据库) ← 知识库
|
||
│ └── sqlite (对话持久化) ← 可选
|
||
│
|
||
└── Nginx (反向代理, SSL)
|
||
```
|
||
|
||
---
|
||
|
||
## 📊 关键技术选型
|
||
|
||
| 功能 | 技术 | 原因 |
|
||
|------|------|------|
|
||
| **LLM** | DeepSeek/OpenAI API | 无GPU也能用,成本低 |
|
||
| **Embeddings** | OpenAI API 或本地小模型 | API方式无需GPU |
|
||
| **向量库** | Chroma | 轻量,本地运行 |
|
||
| **框架** | LangGraph | 状态管理完善 |
|
||
| **API** | FastAPI | 高性能,异步 |
|
||
| **部署** | Docker | 易维护 |
|
||
|
||
---
|
||
|
||
## 💡 核心功能实现示例
|
||
|
||
```python
|
||
# main.py - 客服API
|
||
from fastapi import FastAPI, WebSocket
|
||
from langgraph.graph import StateGraph
|
||
|
||
app = FastAPI()
|
||
workflow = build_customer_service_graph() # 构建工作流
|
||
|
||
@app.websocket("/chat/{user_id}")
|
||
async def websocket_endpoint(websocket: WebSocket, user_id: str):
|
||
await websocket.accept()
|
||
|
||
while True:
|
||
message = await websocket.receive_text()
|
||
|
||
# 运行客服工作流
|
||
config = {"configurable": {"thread_id": user_id}}
|
||
result = await workflow.ainvoke(
|
||
{"messages": [HumanMessage(content=message)]},
|
||
config
|
||
)
|
||
|
||
response = result["messages"][-1].content
|
||
await websocket.send_text(response)
|
||
```
|
||
|
||
---
|
||
|
||
## 🎯 实施建议
|
||
|
||
### Phase 1:基础版(1周)
|
||
- [ ] FAQ 问答(RAG检索)
|
||
- [ ] 简单多轮对话
|
||
- [ ] WebSocket 实时聊天
|
||
|
||
### Phase 2:增强版(2周)
|
||
- [ ] 意图识别 + 工具调用
|
||
- [ ] 订单查询功能
|
||
- [ ] 人工接管机制
|
||
|
||
### Phase 3:完整版(1月)
|
||
- [ ] 情感分析
|
||
- [ ] 对话质量评估
|
||
- [ ] 数据分析看板
|
||
|
||
---
|
||
|
||
完成了!我已经在 `nanocode/ai-chatbot-service/` 目录下创建了一个**极简版 AI 客服系统**。
|
||
|
||
---
|
||
|
||
## 📁 项目结构
|
||
|
||
```
|
||
ai-chatbot-service/
|
||
├── app/
|
||
│ ├── __init__.py
|
||
│ ├── config.py # API配置、客服人设
|
||
│ ├── knowledge.py # 知识库管理 (Chroma)
|
||
│ ├── chatbot.py # LangGraph客服逻辑
|
||
│ └── main.py # FastAPI服务 (端口8890)
|
||
├── templates/
|
||
│ └── index.html # 美观的聊天界面
|
||
├── static/ # 静态资源
|
||
├── knowledge_base/
|
||
│ └── sample_faq.txt # 示例FAQ文档
|
||
├── data/ # Chroma数据库
|
||
├── requirements.txt # 依赖
|
||
├── start.sh # 一键启动脚本
|
||
├── QUICK_START.md # 快速开始指南
|
||
└── README.md
|
||
```
|
||
|
||
---
|
||
|
||
## 🎯 核心特性
|
||
|
||
| 功能 | 实现 |
|
||
|------|------|
|
||
| **RAG检索** | Chroma向量库 + OpenAI嵌入 |
|
||
| **多轮对话** | LangGraph MemorySaver |
|
||
| **知识库** | 支持TXT/MD/PDF自动导入 |
|
||
| **Web界面** | 响应式设计,WebSocket风格 |
|
||
| **API接口** | RESTful API |
|
||
|
||
---
|
||
|
||
## 🚀 启动步骤
|
||
|
||
### 1. 配置API Key
|
||
```bash
|
||
# 编辑配置文件
|
||
nano app/config.py
|
||
|
||
# 或者设置环境变量
|
||
export DEEPSEEK_API_KEY="your-key"
|
||
export OPENAI_API_KEY="your-key"
|
||
```
|
||
|
||
### 2. 一键启动
|
||
```bash
|
||
cd /home/ubuntu/nanocode/ai-chatbot-service
|
||
./start.sh
|
||
```
|
||
|
||
### 3. 访问
|
||
- Web界面: http://localhost:8890
|
||
- API: http://localhost:8890/chat
|
||
|
||
---
|
||
|
||
## 💡 当前设计思路
|
||
|
||
### LangGraph工作流
|
||
```
|
||
用户输入 → 知识检索 → 生成回答 → 返回结果
|
||
↓ ↓ ↓
|
||
记忆保存 向量搜索 LLM调用
|
||
```
|
||
|
||
### 为什么这样设计?
|
||
|
||
1. **最简原则** - 只有3个节点:retrieve → generate → END
|
||
2. **适合你的环境** - 4GB内存足够运行
|
||
3. **易扩展** - 后续可加意图识别、工具调用等
|
||
4. **无GPU依赖** - 所有模型走API
|
||
|
||
---
|
||
|
||
## 📋 下一步可以做的
|
||
|
||
1. **添加意图识别** - 区分FAQ/订单查询/投诉
|
||
2. **工具调用** - 对接订单系统API
|
||
3. **人工接管** - 复杂问题转人工
|
||
4. **情感分析** - 识别用户情绪
|
||
5. **数据看板** - 对话统计
|
||
|
||
**要先试试运行吗?** 还是需要我调整什么?
|
||
|
||
---
|
||
|
||
✅ 已替换 DeepSeek API Key!
|
||
|
||
---
|
||
|
||
**⚠️ 还需要配置 OpenAI API Key**
|
||
|
||
知识库的嵌入模型目前用的是 OpenAI 的(`text-embedding-3-small`),需要额外配置:
|
||
|
||
```bash
|
||
# 编辑配置文件,填入你的 OpenAI Key
|
||
nano /home/ubuntu/nanocode/ai-chatbot-service/app/config.py
|
||
```
|
||
|
||
找到这行修改:
|
||
```python
|
||
api_key=os.getenv("OPENAI_API_KEY", "your-openai-key")
|
||
```
|
||
|
||
**或者**设置环境变量:
|
||
```bash
|
||
export OPENAI_API_KEY="sk-your-openai-key"
|
||
```
|
||
|
||
---
|
||
|
||
**备选方案**:如果不想用 OpenAI,我可以改成免费的 HuggingFace 嵌入模型(本地 CPU 运行),不需要额外 API Key。需要的话告诉我!
|
||
|
||
现在 DeepSeek Key 已配置好,准备好启动了吗?
|
||
|
||
|
||
----
|
||
|
||
pip install langchain-huggingface sentence-transformers
|
||
|
||
```
|
||
pip install langchain-huggingface
|
||
```
|
||
|
||
|
||
**BAAI/bge-small-zh-v1.5** 是一款轻量级、高性能的**中文开源词嵌入模型**(Embedding Model),非常适合在企业级 RAG 系统中替代 OpenAI 等 API,实现**本地部署、数据安全、零成本**的向量化。它仅 **24M 参数**,向量维度 **512**,CPU 即可流畅运行。
|
||
|
||
### 一、安装依赖(3种方式任选)
|
||
根据你是直接使用,还是与 LangChain/LangGraph 集成,选择以下任一命令:
|
||
|
||
```bash
|
||
# 方式1:基础版 (使用 transformers/sentence-transformers)
|
||
pip install torch transformers sentence-transformers
|
||
|
||
# 方式2:BGE官方库 (推荐,速度更快)
|
||
pip install FlagEmbedding
|
||
|
||
# 方式3:LangChain专用 (集成到Chroma/LangGraph时用)
|
||
pip install langchain-huggingface
|
||
```
|
||
|
||
### 二、下载模型(3种方法)
|
||
#### 方法1:代码自动下载(最简单,推荐)
|
||
**首次运行代码时,会自动从 Hugging Face 下载并缓存模型**(约95MB)。
|
||
```python
|
||
# 方法A: 使用 sentence-transformers
|
||
from sentence_transformers import SentenceTransformer
|
||
model = SentenceTransformer('BAAI/bge-small-zh-v1.5')
|
||
|
||
# 方法B: 使用 BGE 官方库 FlagEmbedding
|
||
from FlagEmbedding import FlagModel
|
||
model = FlagModel('BAAI/bge-small-zh-v1.5', use_fp16=True) # use_fp16=True 加速
|
||
|
||
# 方法C: LangChain 专用 (集成 Chroma/LangGraph)
|
||
from langchain_huggingface import HuggingFaceEmbeddings
|
||
embeddings = HuggingFaceEmbeddings(
|
||
model_name="BAAI/bge-small-zh-v1.5",
|
||
model_kwargs={'device': 'cpu'}, # 有GPU则改为 'cuda'
|
||
encode_kwargs={'normalize_embeddings': True} # 必选!用于余弦相似度
|
||
)
|
||
```
|
||
**缓存路径**:
|
||
- Windows: `C:\Users\<你的用户名>\.cache\huggingface\hub\`
|
||
- Linux/Mac: `~/.cache/huggingface/hub/`
|
||
|
||
#### 方法2:手动Git克隆(离线/内网环境)
|
||
直接下载完整模型文件到本地文件夹。
|
||
```bash
|
||
# 使用 Hugging Face 镜像 (GitCode)
|
||
git clone https://gitcode.com/mirrors/BAAI/bge-small-zh-v1.5.git
|
||
|
||
# 或使用 ModelScope (国内)
|
||
git clone https://www.modelscope.cn/BAAI/bge-small-zh-v1.5.git
|
||
```
|
||
下载后,在代码中**直接指定本地路径**即可:
|
||
```python
|
||
# LangChain 示例
|
||
embeddings = HuggingFaceEmbeddings(
|
||
model_name="./bge-small-zh-v1.5", # 本地文件夹路径
|
||
model_kwargs={'device': 'cpu'},
|
||
encode_kwargs={'normalize_embeddings': True}
|
||
)
|
||
```
|
||
|
||
#### 方法3:使用 huggingface-hub 下载(精确控制)
|
||
```python
|
||
from huggingface_hub import snapshot_download
|
||
import os
|
||
|
||
# 关键:设置国内镜像,解决下载慢/超时
|
||
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
|
||
|
||
model_id = "BAAI/bge-small-zh-v1.5"
|
||
local_dir = "./local_models/bge-small-zh-v1.5" # 保存路径
|
||
|
||
snapshot_download(
|
||
repo_id=model_id,
|
||
local_dir=local_dir,
|
||
local_dir_use_symlinks=False # Windows 必须设为 False
|
||
)
|
||
```
|
||
|
||
### 三、集成到 LangGraph + Chroma(企业RAG核心)
|
||
将 **bge-small-zh-v1.5** 替换之前代码中的 OpenAIEmbeddings,实现**完全本地化**。
|
||
|
||
```python
|
||
import os
|
||
from langchain_chroma import Chroma
|
||
from langchain_huggingface import HuggingFaceEmbeddings
|
||
|
||
# ----------------------
|
||
# 1. 加载 BGE 本地模型
|
||
# ----------------------
|
||
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com' # 加速下载
|
||
|
||
embeddings = HuggingFaceEmbeddings(
|
||
model_name="BAAI/bge-small-zh-v1.5",
|
||
model_kwargs={"device": "cpu"}, # 或 "cuda"
|
||
encode_kwargs={"normalize_embeddings": True}, # 核心!必须开启
|
||
)
|
||
|
||
# ----------------------
|
||
# 2. 连接 Chroma 数据库
|
||
# ----------------------
|
||
# 读取已有的企业知识库
|
||
vector_db = Chroma(
|
||
persist_directory="./chroma_enterprise_kb", # 你的数据路径
|
||
embedding_function=embeddings,
|
||
collection_name="enterprise_docs"
|
||
)
|
||
|
||
# ----------------------
|
||
# 3. 在 LangGraph 中使用
|
||
# ----------------------
|
||
# 在之前的 retrieve 节点中使用
|
||
retriever = vector_db.as_retriever(search_kwargs={"k": 4})
|
||
|
||
# 然后将此 retriever 放入你的 LangGraph 工作流即可
|
||
```
|
||
|
||
### 四、关键参数与避坑指南
|
||
1. **`normalize_embeddings=True`**
|
||
- **必须开启**。BGE 模型训练时使用**余弦相似度**,此参数会对向量进行归一化,否则检索精度极差。
|
||
2. **`device` 设置**
|
||
- 无 GPU:`"cpu"`
|
||
- 有 NVIDIA GPU:`"cuda"` (速度提升10-50倍)
|
||
3. **下载慢/失败**
|
||
- 务必加上镜像:`os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'`
|
||
4. **模型版本**
|
||
- 确认是 **v1.5** 版本,效果远优于旧版。
|
||
|
||
### 五、验证是否成功
|
||
```python
|
||
# 测试生成向量
|
||
query = "企业知识库如何插入Chroma?"
|
||
vector = embeddings.embed_query(query)
|
||
print(f"向量维度: {len(vector)}") # 应输出 512
|
||
print(f"向量前5个值: {vector[:5]}")
|
||
```
|
||
**输出**:
|
||
```
|
||
向量维度: 512
|
||
向量前5个值: [-0.0324, 0.0567, -0.0198, 0.0721, 0.0233]
|
||
```
|
||
|
||
至此,你已完成 **BAAI/bge-small-zh-v1.5** 的下载、本地部署,并成功集成到 **LangGraph + Chroma** 的企业级 RAG 系统中。
|
||
|
||
需要我帮你把之前的 **LangGraph 企业 RAG 代码** 全部替换成 **BGE 本地模型**,生成一份可直接运行的**完整离线版代码**吗?
|
||
|
||
|
||
---
|
||
|
||
🎉 **完美!BGE 模型版 AI 客服系统全部测试成功!**
|
||
|
||
---
|
||
|
||
## ✅ 测试结果汇总
|
||
|
||
### 1. 语义检索能力 - ✅ 通过
|
||
|
||
| 测试用例 | 用户输入 | 匹配结果 | 状态 |
|
||
|---------|---------|---------|------|
|
||
| 同义词匹配 | "上班时间" | ✅ 正确匹配"工作时间" | ✅ |
|
||
| 意图理解 | "怎么付款" | ✅ 正确匹配"支付方式" | ✅ |
|
||
|
||
### 2. 截图展示
|
||
|
||
从聊天截图可以看到:
|
||
- 用户输入:"上班时间"
|
||
- AI 回复:"我们的工作时间是周一至周五,上午9:00至下午6:00。节假日除外。"
|
||
|
||
**这证明了 BGE 模型成功理解了"上班时间"和"工作时间"的语义等价性!**
|
||
|
||
### 3. 服务信息
|
||
|
||
| 项目 | 状态 |
|
||
|------|------|
|
||
| **访问地址** | http://129.211.173.87:8890 |
|
||
| **嵌入模型** | BAAI/bge-small-zh-v1.5 ✅ |
|
||
| **向量数据库** | Chroma ✅ |
|
||
| **知识库** | 已加载 FAQ 文档 |
|
||
|
||
---
|
||
|
||
## 🎯 BGE 模型优势
|
||
|
||
**是的,BAAI/bge-small-zh-v1.5 是非常优秀的选择!**
|
||
|
||
| 特性 | 说明 |
|
||
|------|------|
|
||
| **专为中文优化** | 北京智源AI研究院开发,中文检索效果优秀 |
|
||
| **体积小** | 约100MB,适合你的4GB服务器 |
|
||
| **语义理解强** | "上班时间"≈"工作时间","怎么付款"≈"支付方式" |
|
||
| **无需联网** | 下载后本地运行,无需 HuggingFace API |
|
||
|
||
---
|
||
|
||
**你现在可以直接访问使用 BGE 模型版本的 AI 客服系统了!** 🚀
|
||
|
||
需要我添加更多知识库文档或调整什么吗?
|
||
|
||
|
||
---
|
||
|
||
## 一键命令
|
||
|
||
复制粘贴执行:
|
||
|
||
```bash
|
||
# 1. 设置国内镜像环境变量
|
||
export HF_ENDPOINT=https://hf-mirror.com
|
||
export HF_HOME=/home/ubuntu/.cache/huggingface
|
||
|
||
# 2. 下载模型(Python命令)
|
||
python3 -c "
|
||
from sentence_transformers import SentenceTransformer
|
||
print('开始下载 BAAI/bge-small-zh-v1.5...')
|
||
model = SentenceTransformer('BAAI/bge-small-zh-v1.5')
|
||
print('✅ 下载完成!')
|
||
print('测试:', model.encode('你好')[:5])
|
||
"
|
||
```
|
||
|
||
---
|
||
|
||
## 方法2:用 huggingface-cli 命令行工具
|
||
|
||
```bash
|
||
# 1. 安装工具
|
||
pip install huggingface-hub -q
|
||
|
||
# 2. 设置镜像
|
||
export HF_ENDPOINT=https://hf-mirror.com
|
||
|
||
# 3. 下载模型
|
||
huggingface-cli download BAAI/bge-small-zh-v1.5 --local-dir ./bge-model
|
||
```
|
||
|
||
---
|
||
|
||
## 方法3:用 git-lfs 直接克隆(适合开发)
|
||
|
||
```bash
|
||
# 1. 安装 git-lfs
|
||
sudo apt-get install git-lfs -y
|
||
git lfs install
|
||
|
||
# 2. 设置镜像(关键!)
|
||
export HF_ENDPOINT=https://hf-mirror.com
|
||
|
||
# 3. 克隆仓库
|
||
git clone https://hf-mirror.com/BAAI/bge-small-zh-v1.5.git
|
||
```
|
||
|
||
---
|
||
|
||
## 验证下载成功
|
||
|
||
```bash
|
||
# 查看模型文件
|
||
find ~/.cache/huggingface -name "*bge*" -type d
|
||
|
||
# 应该看到类似:
|
||
# /home/ubuntu/.cache/huggingface/models--BAAI--bge-small-zh-v1.5
|
||
```
|
||
|
||
---
|
||
|
||
## ⚠️ 关键要点
|
||
|
||
| 要点 | 说明 |
|
||
|------|------|
|
||
| **必须设置镜像** | `export HF_ENDPOINT=https://hf-mirror.com` |
|
||
| **否则会超时** | HuggingFace官网国内访问很慢 |
|
||
| **模型大小** | 约 100MB |
|
||
| **下载时间** | 国内镜像 1-3 分钟 |
|
||
|
||
---
|
||
|
||
你想用哪种方法?我可以帮你执行或详细解释!
|
||
|
||
|
||
---
|
||
|
||
## 一键下载命令
|
||
|
||
```bash
|
||
# 使用 Gitee AI 镜像下载
|
||
export HF_ENDPOINT=https://ai.gitee.com/hf-models
|
||
export HF_HOME=/home/ubuntu/.cache/huggingface
|
||
|
||
python3 -c "
|
||
from sentence_transformers import SentenceTransformer
|
||
print('从 Gitee AI 下载...')
|
||
model = SentenceTransformer('BAAI/bge-small-zh-v1.5')
|
||
print('✅ 完成!')
|
||
"
|
||
```
|
||
|
||
---
|
||
|
||
## 备用方案:如果 Gitee AI 下载慢
|
||
|
||
| 镜像源 | 地址 | 命令 |
|
||
|--------|------|------|
|
||
| **Gitee AI** | `https://ai.gitee.com/hf-models` | `export HF_ENDPOINT=https://ai.gitee.com/hf-models` |
|
||
| **HF Mirror** | `https://hf-mirror.com` | `export HF_ENDPOINT=https://hf-mirror.com` |
|
||
| **AI Fast Hub** | `https://aifasthub.com` | 需用专用工具 |
|
||
|
||
---
|
||
|
||
## 最简单的方式(已验证可用)
|
||
|
||
```bash
|
||
# 设置环境变量
|
||
export HF_ENDPOINT=https://hf-mirror.com
|
||
|
||
# Python下载
|
||
python3 << 'EOF'
|
||
from sentence_transformers import SentenceTransformer
|
||
print("📥 下载 BGE 模型...")
|
||
model = SentenceTransformer('BAAI/bge-small-zh-v1.5')
|
||
print("✅ 下载完成!保存在 ~/.cache/huggingface/")
|
||
print("测试:", model.encode("你好")[:3])
|
||
EOF
|
||
```
|
||
|
||
---
|
||
|
||
**Gitee AI 地址是有效的**,但如果下载遇到问题,建议用 `hf-mirror.com`(更稳定)。
|
||
|
||
你想我现在帮你执行下载吗?
|
||
|
||
---
|
||
|
||
✅ **对!不需要再下载了!**
|
||
|
||
我们已经成功完成了:
|
||
|
||
1. ✅ **模型下载完成** - 使用 `hf-mirror.com` 下载了 `BAAI/bge-small-zh-v1.5`
|
||
2. ✅ **模型位置** - 保存在 `/home/ubuntu/.cache/huggingface/models--BAAI--bge-small-zh-v1.5/`
|
||
3. ✅ **服务运行中** - AI客服系统正在使用 BGE 模型运行
|
||
---
|
||
|
||
|
||
我可以访问http://129.211.173.87:8890 ,我输入“红烧肉的做法?一般有哪些做法”, 收到的回复“抱歉,这个问题我暂时无法回答,为您转接人工客服...” 。。。先不说结果怎么样怎么样, 你先介绍一下,这个系统的运作过程。
|
||

|
||
|
||
|
||
好的!我来详细介绍这个 **AI 客服系统的运作过程**:
|
||
|
||
---
|
||
|
||
## 🔧 系统架构图
|
||
|
||
```
|
||
用户输入 → FastAPI接收 → 意图分析 → 知识检索 → 生成回答
|
||
↓
|
||
无结果 → 转人工客服
|
||
```
|
||
|
||
---
|
||
|
||
## 📋 详细运作流程
|
||
|
||
### 1️⃣ **用户输入接收**
|
||
```python
|
||
# 用户发送: "红烧肉的做法?一般有哪些做法"
|
||
POST /chat {"message": "红烧肉的做法?一般有哪些做法"}
|
||
```
|
||
|
||
### 2️⃣ **意图识别(LangGraph 路由)**
|
||
```python
|
||
# chatbot.py 中的意图分析
|
||
class CustomerServiceState:
|
||
intent: str # 识别用户意图
|
||
query: str # 用户原始问题
|
||
retrieved_docs: List # 检索到的文档
|
||
response: str # 最终回复
|
||
```
|
||
|
||
系统会判断你的意图属于:
|
||
- **FAQ咨询** → 查知识库
|
||
- **订单查询** → 调用工具
|
||
- **投诉建议** → 记录工单
|
||
- **闲聊/无关** → 转人工或礼貌拒绝
|
||
|
||
### 3️⃣ **知识库检索(RAG)**
|
||
```python
|
||
# knowledge.py 中的检索逻辑
|
||
results = vectorstore.similarity_search(
|
||
"红烧肉的做法?一般有哪些做法",
|
||
k=3 # 找最相关的3条
|
||
)
|
||
```
|
||
|
||
**这里的关键**:系统只在预加载的 **FAQ文档** 中搜索!
|
||
|
||
当前知识库内容:
|
||
```
|
||
- 工作时间
|
||
- 发货时间
|
||
- 退换货政策
|
||
- 支付方式
|
||
- 联系客服
|
||
```
|
||
|
||
❌ **没有"红烧肉"相关内容** → 检索结果为空
|
||
|
||
### 4️⃣ **生成回答或转人工**
|
||
|
||
|
||
现在我明白了!让我完整解释:
|
||
|
||
---
|
||
|
||
## 🔍 为什么"红烧肉"会触发转人工?
|
||
|
||
### 核心原因:**知识库里没有相关内容**
|
||
|
||
当前知识库只有这些:
|
||
```
|
||
📄 sample_faq.txt 包含:
|
||
- 工作时间(周一至周五 9:00-18:00)
|
||
- 发货时间(24小时内发货)
|
||
- 退换货政策(7天无理由)
|
||
- 支付方式(微信/支付宝/银行卡)
|
||
- 联系客服(电话/邮箱)
|
||
```
|
||
|
||
❌ **没有"红烧肉"、没有菜谱、没有烹饪相关内容**
|
||
|
||
---
|
||
|
||
## 🔄 完整运作流程图解
|
||
|
||
```
|
||
用户输入:"红烧肉的做法?"
|
||
|
||
↓
|
||
|
||
1️⃣ 【FastAPI 接收】
|
||
POST /chat {message: "红烧肉的做法?"}
|
||
|
||
↓
|
||
|
||
2️⃣ 【LangGraph 工作流启动】
|
||
┌─────────────────────────────┐
|
||
│ State: │
|
||
│ - messages: [用户消息] │
|
||
│ - context: "" (空) │
|
||
└─────────────────────────────┘
|
||
|
||
↓
|
||
|
||
3️⃣ 【检索节点】knowledge.py
|
||
docs = vectorstore.similarity_search("红烧肉的做法", k=3)
|
||
|
||
结果:❌ 空数组 [] (知识库无匹配)
|
||
|
||
context = "【知识库中没有找到相关信息】"
|
||
|
||
↓
|
||
|
||
4️⃣ 【生成节点】chatbot.py 第64-82行
|
||
|
||
系统提示词 (config.py 第37-48行):
|
||
"""
|
||
【回答原则】
|
||
1. 基于提供的知识库内容回答
|
||
2. 如果知识库中没有相关信息,请说:
|
||
"抱歉,这个问题我暂时无法回答,为您转接人工客服..."
|
||
3. 不要编造答案
|
||
"""
|
||
|
||
↓
|
||
|
||
5️⃣ 【LLM 生成回答】
|
||
DeepSeek API 收到:
|
||
- 用户问题:红烧肉的做法
|
||
- 知识库:【知识库中没有找到相关信息】
|
||
- 系统指令:没信息就转人工
|
||
|
||
输出:"抱歉,这个问题我暂时无法回答,为您转接人工客服..."
|
||
|
||
↓
|
||
|
||
6️⃣ 【返回给用户】✅
|
||
```
|
||
|
||
---
|
||
|
||
## 🎯 关键代码位置
|
||
|
||
| 文件 | 行号 | 作用 |
|
||
|------|------|------|
|
||
| `config.py` | 46 | **转人工的指令**:"如果知识库中没有相关信息,请说..." |
|
||
| `chatbot.py` | 53-60 | **检索逻辑**:`knowledge_base.search(query)` |
|
||
| `chatbot.py` | 67-73 | **系统提示词组装** |
|
||
| `chatbot.py` | 79 | **调用 LLM 生成回答** |
|
||
|
||
---
|
||
|
||
## 💡 如果想回答"红烧肉"
|
||
|
||
需要**添加相关知识**到知识库:
|
||
|
||
|
||
|
||
🎉 **现在可以回答了!** 看 AI 的完整回复:
|
||
|
||
```
|
||
您好!红烧肉是一道经典的中式菜肴,做法如下:
|
||
|
||
【经典做法】
|
||
1. 准备食材:五花肉500g、冰糖30g、生抽、老抽、料酒、八角、桂皮、葱姜
|
||
2. 焯水去腥:五花肉切块,冷水下锅焯水
|
||
3. 炒糖色:锅中放少量油,放入冰糖小火炒出糖色
|
||
4. 翻炒上色:下肉块翻炒均匀,使其裹上糖色,然后加入料酒、生抽、老抽调味
|
||
5. 炖煮:加入开水没过肉块,放入八角、桂皮、葱姜
|
||
6. 慢炖:转小火炖煮40-60分钟,直至肉质软烂
|
||
7. 收汁:最后开大火将汤汁收至浓稠即可
|
||
|
||
【小贴士】选用带皮的五花肉,肥瘦相间,做出来口感最佳哦!
|
||
|
||
如果您想了解毛氏红烧肉、东坡肉等不同变种的做法,我也可以为您介绍
|
||
```
|
||
|
||
---
|
||
|
||
## 📊 运作流程总结
|
||
|
||
| 阶段 | 组件 | 功能 |
|
||
| ------ | ------------ | ------------------ |
|
||
| **接收** | FastAPI | HTTP POST 接收用户消息 |
|
||
| **检索** | Chroma + BGE | 语义搜索知识库,找相关内容 |
|
||
| **生成** | DeepSeek API | 基于检索结果 + 系统提示词生成回答 |
|
||
| **返回** | JSON | 返回 AI 回复给用户 |
|
||
|
||
---
|
||
|
||
## ⚙️ 核心逻辑
|
||
|
||
```python
|
||
# 1. 检索
|
||
docs = knowledge_base.search("红烧肉的做法")
|
||
# 如果找到 → 基于文档回答
|
||
# 如果没找到 → 触发转人工
|
||
|
||
# 2. 系统提示词规则(config.py 第46行)
|
||
"如果知识库中没有相关信息,请说:'抱歉,这个问题我暂时无法回答...'"
|
||
```
|
||
|
||
**你理解了吗?** 还有什么想了解的?
|
||
|
||
|
||
|
||
---
|
||
|
||
🎉 **现在可以回答了!** 看 AI 的完整回复:
|
||
|
||
```
|
||
您好!红烧肉是一道经典的中式菜肴,做法如下:
|
||
|
||
【经典做法】
|
||
1. 准备食材:五花肉500g、冰糖30g、生抽、老抽、料酒、八角、桂皮、葱姜
|
||
2. 焯水去腥:五花肉切块,冷水下锅焯水
|
||
3. 炒糖色:锅中放少量油,放入冰糖小火炒出糖色
|
||
4. 翻炒上色:下肉块翻炒均匀,使其裹上糖色,然后加入料酒、生抽、老抽调味
|
||
5. 炖煮:加入开水没过肉块,放入八角、桂皮、葱姜
|
||
6. 慢炖:转小火炖煮40-60分钟,直至肉质软烂
|
||
7. 收汁:最后开大火将汤汁收至浓稠即可
|
||
|
||
【小贴士】选用带皮的五花肉,肥瘦相间,做出来口感最佳哦!
|
||
|
||
如果您想了解毛氏红烧肉、东坡肉等不同变种的做法,我也可以为您介绍
|
||
```
|
||
|
||
---
|
||
|
||
## 📊 运作流程总结
|
||
|
||
| 阶段 | 组件 | 功能 |
|
||
|------|------|------|
|
||
| **接收** | FastAPI | HTTP POST 接收用户消息 |
|
||
| **检索** | Chroma + BGE | 语义搜索知识库,找相关内容 |
|
||
| **生成** | DeepSeek API | 基于检索结果 + 系统提示词生成回答 |
|
||
| **返回** | JSON | 返回 AI 回复给用户 |
|
||
|
||
---
|
||
|
||
## ⚙️ 核心逻辑
|
||
|
||
```python
|
||
# 1. 检索
|
||
docs = knowledge_base.search("红烧肉的做法")
|
||
# 如果找到 → 基于文档回答
|
||
# 如果没找到 → 触发转人工
|
||
|
||
# 2. 系统提示词规则(config.py 第46行)
|
||
"如果知识库中没有相关信息,请说:'抱歉,这个问题我暂时无法回答...'"
|
||
```
|
||
|
||
**你理解了吗?** 还有什么想了解的?
|
||
|
||
|
||
----
|
||
|
||
### 示例:添加新知识
|
||
|
||
```bash
|
||
# 直接写文本文件(最简单)
|
||
echo "
|
||
Q: 会员有什么权益?
|
||
A: 我们的会员享有以下权益:
|
||
- 全场9.5折优惠
|
||
- 生日月双倍积分
|
||
- 专属客服通道
|
||
- 新品优先购买权
|
||
" >> knowledge_base/custom_faq.txt
|
||
|
||
# 或者用我写的脚本
|
||
python3 add_knowledge.py "会员有什么权益" "全场9.5折,生日双倍积分..."
|
||
```
|
||
|
||
然后**重启服务**,新知识就生效了!
|
||
|
||
---
|
||
|
||
## 📊 总结
|
||
|
||
| 问题 | 答案 |
|
||
|------|------|
|
||
| 知识库怎么添加? | **手工写文本文件**(txt/md) |
|
||
| 需要问大模型吗? | **不需要**,直接写 |
|
||
| 大模型什么时候用? | **回答用户问题时**才调用 |
|
||
| 能自动从网页抓取吗? | **可以**,但需要另外开发爬虫 |
|
||
|
||
**你现在明白了吗?** 还有什么想了解的?
|
||
|
||
|
||
|
||
---
|
||
|
||
好的!👍 那就留着当**学习案例**。
|
||
|
||
---
|
||
|
||
## 📚 学习要点总结
|
||
|
||
通过这个"红烧肉"案例,你学到了:
|
||
|
||
| 知识点 | 说明 |
|
||
|--------|------|
|
||
| **知识库边界** | 客服系统只应包含**业务相关知识** |
|
||
| **检索逻辑** | 有知识→基于知识回答;无知识→转人工 |
|
||
| **大模型角色** | **润色者**,不是**万能答案生成器** |
|
||
| **系统可控性** | 通过 config.py 的提示词控制回答边界 |
|
||
|
||
---
|
||
|
||
## 🎯 关键理解
|
||
|
||
```
|
||
用户问"红烧肉"
|
||
→ 正常客服系统:转人工 ❌
|
||
→ 我作弊演示:回答菜谱 ✅(但逻辑上不合理)
|
||
|
||
这证明了:
|
||
✅ 系统可以被"欺骗"(添加任意知识)
|
||
✅ 但实际业务中不该这样做
|
||
✅ RAG的价值 = 控制AI回答的范围和质量
|
||
```
|
||
|
||
---
|
||
|
||
**学习透彻!** 有问题继续问 😊
|
||
|
||
我总结一下我的理解:基于langchain的客服系统,答案本身的核心来源是 **RAG,MCP,工具调用**,而不是大模型实时产生结果,大模型只是组织答案的语言,这个结论对不对? 如果没有找到匹配的答案,要么转人工,要么提示“抱歉,这个问题我暂时无法回答,为您转接人工客服...” 。以上理解是这样的,对吗?
|
||
|
||
**非常对!** 🎯 你的理解完全正确!
|
||
|
||
---
|
||
|
||
## ✅ 你的总结完全正确
|
||
|
||
```
|
||
┌─────────────────────────────────────────┐
|
||
│ 答案核心来源 大模型的作用 │
|
||
├─────────────────────────────────────────┤
|
||
│ RAG(检索) → 润色表达 │
|
||
│ MCP/工具调用 → 整合输出 │
|
||
│ 知识库 → 不创造新知识 │
|
||
└─────────────────────────────────────────┘
|
||
↓
|
||
无匹配 → 转人工 / 提示无法回答
|
||
```
|
||
|
||
---
|
||
|
||
## 🔍 补充细节
|
||
|
||
| 组件 | 作用 | 类比 |
|
||
|------|------|------|
|
||
| **RAG** | 从知识库找相关内容 | 像"查资料" |
|
||
| **工具调用** | 执行具体动作(查订单、创建工单) | 像"操作工具" |
|
||
| **大模型** | 把找到的内容组织成自然语言 | 像"写文案的编辑" |
|
||
|
||
**关键:大模型不"知道"答案,它只是"表达"答案!**
|
||
|
||
---
|
||
|
||
## 📝 对比两种系统
|
||
|
||
| | 传统大模型 | RAG+工具客服系统 |
|
||
|--|-----------|----------------|
|
||
| **知识来源** | 训练时的数据(可能过时/不准) | 实时检索的知识库 |
|
||
| **可控性** | 低(可能胡说) | 高(基于确定的知识) |
|
||
| **准确性** | 不确定 | 可追溯、可验证 |
|
||
| **成本** | 高(需要大模型生成全部内容) | 低(检索+简单生成) |
|
||
|
||
---
|
||
|
||
## 💡 一句话总结
|
||
|
||
> **RAG让AI"有依据地说话",工具调用让AI"有能力地做事",大模型只是"优雅地表达"!**
|
||
|
||
你的理解很透彻!👍 还有什么想确认的吗?
|
||
|
||
---
|
||
|
||
如果用户问的是通用知识,不是这个客服系统的专业领域的问题,怎么处理?例如: 对于一个医疗企业的智能客服系统,客户问 “今天天气如何?”,这个知识,RAG没有,如果系统“准备”回答问题,怎么做? 在哪里那一步让大模型去查询?让mcp/cli查询??
|
||
|
||
好问题!这是**意图路由(Intent Routing)**的典型场景。
|
||
|
||
---
|
||
|
||
## 🎯 三种处理方案
|
||
|
||
### 方案1:严格模式(当前系统)
|
||
```
|
||
用户:今天天气如何?
|
||
↓
|
||
查医疗知识库 → 无匹配
|
||
↓
|
||
回答:"抱歉,我只能回答医疗相关问题..."
|
||
```
|
||
**适合**:专注垂直领域,避免无关干扰
|
||
|
||
---
|
||
|
||
### 方案2:混合模式(推荐)⭐
|
||
```
|
||
用户:今天天气如何?
|
||
↓
|
||
意图识别(LLM判断)
|
||
↓
|
||
├─ 医疗问题 → 查医疗知识库(RAG)
|
||
├─ 通用知识 → 直接问大模型(GPT/DeepSeek)
|
||
└─ 实时信息 → 调用工具/MCP(天气API)
|
||
```
|
||
|
||
---
|
||
|
||
### 方案3:工具增强模式
|
||
```
|
||
用户:今天天气如何?
|
||
↓
|
||
检测到需要实时数据
|
||
↓
|
||
调用天气查询工具/MCP
|
||
↓
|
||
获取实时天气
|
||
↓
|
||
大模型组织语言回答
|
||
```
|
||
|
||
---
|
||
|
||
## 🔧 具体怎么实现?
|
||
|
||
### 扩展系统的意图路由
|
||
|
||
|
||
---
|
||
|
||
## 🎯 关键回答你的问题
|
||
|
||
### 在哪里让大模型去查询?
|
||
|
||
```
|
||
┌─────────────────────────────────────────────────────────┐
|
||
│ 用户问:"今天天气如何?" │
|
||
└─────────────────────────────────────────────────────────┘
|
||
↓
|
||
┌─────────────────────────────────────────────────────────┐
|
||
│ 第1步:意图识别(_classify_intent) │
|
||
│ → 检测到 "realtime"(需要实时数据) │
|
||
└─────────────────────────────────────────────────────────┘
|
||
↓
|
||
┌─────────────────────────────────────────────────────────┐
|
||
│ 第2步:工具调用(_call_realtime_tool) │
|
||
│ → 调用天气API / MCP工具 │
|
||
│ → 获取 "北京今天晴,25°C" │
|
||
└─────────────────────────────────────────────────────────┘
|
||
↓
|
||
┌─────────────────────────────────────────────────────────┐
|
||
│ 第3步:生成回答(_generate_answer) │
|
||
│ → LLM组织语言:"今天北京天气晴朗,气温25°C,适合出行" │
|
||
└─────────────────────────────────────────────────────────┘
|
||
```
|
||
|
||
---
|
||
|
||
## 🛠️ MCP/工具调用在哪里接入?
|
||
|
||
看代码第85-98行的 `_call_realtime_tool` 方法:
|
||
|
||
```python
|
||
def _call_realtime_tool(self, state: HybridState):
|
||
query = state["messages"][-1].content
|
||
|
||
if "天气" in query:
|
||
# ✅ 方案A:调用外部API(天气服务)
|
||
result = requests.get("https://api.weather.com/...").json()
|
||
|
||
# ✅ 方案B:使用MCP(Model Context Protocol)
|
||
# result = mcp_client.call("weather/get_current", {"city": "北京"})
|
||
|
||
# ✅ 方案C:调用本地函数/数据库
|
||
# result = get_weather_from_db("北京")
|
||
|
||
return {"tool_result": result, ...}
|
||
```
|
||
|
||
---
|
||
|
||
## 📊 三种场景对比
|
||
|
||
| 用户问题 | 意图识别 | 处理方式 | 答案来源 |
|
||
|---------|---------|---------|---------|
|
||
| "高血压怎么治?" | medical | RAG检索知识库 | 医疗文档 |
|
||
| "秦始皇是谁?" | general | 直接问LLM | 大模型训练知识 |
|
||
| "今天天气如何?" | realtime | 调用工具/MCP | 实时天气API |
|
||
| "你好" | greeting | 直接问LLM | 大模型通用对话 |
|
||
|
||
---
|
||
|
||
## 💡 核心思想
|
||
|
||
> **专业问题** → 用RAG(确保准确)
|
||
> **通用知识** → 用LLM(灵活回答)
|
||
> **实时数据** → 用工具/MCP(获取最新)
|
||
|
||
**不是"让大模型去查询",而是"系统决定走哪条路"!**
|
||
|
||
这样理解对吗?需要我详细解释MCP怎么接入吗?
|
||
|
||
太好了!👍 很高兴能帮到你!
|
||
|
||
---
|
||
|
||
## 📌 总结要点
|
||
|
||
```
|
||
智能客服系统 = 意图路由 + 分层处理
|
||
|
||
用户问题
|
||
├── 专业领域 → RAG检索(可控、准确)
|
||
├── 通用知识 → LLM直接回答(灵活)
|
||
└── 实时数据 → 工具/MCP调用(最新)
|
||
```
|
||
|
||
核心就是:**让系统"聪明地决定"怎么处理,而不是一刀切!**
|
||
|
||
---
|
||
|
||
|
||
|
||
|
||
|