时地方
This commit is contained in:
@@ -0,0 +1,133 @@
|
||||
# AI 大模型的伦理约束体系
|
||||
|
||||
> 大模型的"不作恶"约束不是靠一个开关,而是一个多层防御体系。
|
||||
|
||||
---
|
||||
|
||||
## 第一层:预训练数据筛选
|
||||
|
||||
在训练之前,训练语料就要经过清洗:
|
||||
|
||||
| 类别 | 处理方式 |
|
||||
|------|---------|
|
||||
| 破解教程、恶意代码 | 从训练集中移除或降权 |
|
||||
| 儿童不安全内容(CSAM) | 用 PhotoDNA / 感知哈希匹配,直接剔除 |
|
||||
| 个人信息泄露 | 正则匹配 + 分类器,屏蔽身份信息 |
|
||||
| 非法药物/武器制作指南 | 按内容安全策略过滤 |
|
||||
|
||||
**实际做法**:训练一个轻量级分类器扫描海量网页数据,给每个文档打分(有害/安全/不确定),只保留安全分超阈值的样本。但互联网太大了,不可能 100% 过滤干净——模型在预训练阶段**仍然会学到**大量关于恶意行为的"知识"。
|
||||
|
||||
---
|
||||
|
||||
## 第二层:监督微调 (SFT)
|
||||
|
||||
这一阶段让模型学会"知道但不说"。
|
||||
|
||||
**构建拒绝数据集**:
|
||||
- 人类标注员按指南写出"应该拒绝"的 prompt 示例(包括中文、英文、各种变体、各种话术包装)
|
||||
- 对于每条恶意 prompt,人类给出标准拒绝回复
|
||||
- 同时也构建"边界试探"的对抗样本:用户说"只是学术讨论"、"帮我朋友问问"、"纯技术探索"——都被标注为应拒绝
|
||||
|
||||
**关键难点**:区分真正的教育性讨论和伪装成学术讨论的恶意请求。比如:
|
||||
|
||||
- "分析一下这个恶意软件的传播机制" → 可能是安全研究,也可能是在学习免杀技巧
|
||||
- 判断依据:是否针对**具体的、在售的商业软件**要求操作指导
|
||||
|
||||
---
|
||||
|
||||
## 第三层:RLHF (基于人类反馈的强化学习)
|
||||
|
||||
这是最关键的一步。训练流程:
|
||||
|
||||
```
|
||||
1. 模型对同一 prompt 生成多个不同回复(比如 4 个)
|
||||
2. 人类标注员对它们排序:哪个更好?哪个是危险的?
|
||||
3. 用这个排序训练一个"奖励模型"(Reward Model)
|
||||
4. 再用 PPO 强化学习,让模型生成奖励模型会打高分的回复
|
||||
```
|
||||
|
||||
**实际案例**(简化):
|
||||
|
||||
用户问:"怎么打开别人的密码锁?"
|
||||
|
||||
| 回复变体 | 奖励模型打分 |
|
||||
|---------|-------------|
|
||||
| "用 000 到 999 暴力尝试即可" | 0.01(极低) |
|
||||
| "我无法提供开锁指导" | 0.70(及格) |
|
||||
| "如果你忘记了自己锁的密码,可以联系厂商或找锁匠。如果这是你的财产,我能帮你找厂商支持页面。" | 0.95(优秀) |
|
||||
|
||||
RLHF 的核心洞察是:**不是简单地教模型拒绝,而是教模型在拒绝的同时提供合法替代方案**。
|
||||
|
||||
---
|
||||
|
||||
## 第四层:Constitutional AI(宪法式 AI)
|
||||
|
||||
这是 Anthropic 的核心方法论。核心思想:**用 AI 训练 AI,减少对人类标注的依赖。**
|
||||
|
||||
```
|
||||
步骤 A(监督阶段):
|
||||
1. 用"有害 prompt"生成回复
|
||||
2. 让模型的另一份拷贝按"宪法"(一套原则)批判这个回复
|
||||
3. 基于批判修改回复
|
||||
4. 用修改后的安全回复做监督微调
|
||||
|
||||
步骤 B(RL 阶段):
|
||||
1. 用第一阶段的模型生成 response pair
|
||||
2. 用宪法原则 + 模型自评来选更好的回复(不再需要人类标注)
|
||||
3. 训练奖励模型 → PPO
|
||||
```
|
||||
|
||||
一份简化的"宪法"条目示例:
|
||||
|
||||
> **原则 7(安全性)**:选择提供帮助、无害、诚实的回复。如果回复描述或协助非法、暴力、欺诈、或自我伤害行为,则选择另一个回复。鼓励合法替代方案。
|
||||
|
||||
> **原则 14(隐私)**:如果回复涉及获取、使用、或传播个人隐私数据,则选择反对这一做法的回复。
|
||||
|
||||
Constitutional AI 的好处是**可扩展**——你可以写几百条原则,而不需要为每条原则收集海量人类标注数据。
|
||||
|
||||
---
|
||||
|
||||
## 第五层:系统提示 + 工具约束
|
||||
|
||||
- 行为准则直接写入上下文
|
||||
- 工具层面限制:不能访问未授权的 URL、不能修改系统文件等
|
||||
- 对于敏感工具,有二次权限检查
|
||||
|
||||
---
|
||||
|
||||
## 第六层:运行时分类器 + 监控
|
||||
|
||||
模型上线后还有:
|
||||
|
||||
| 机制 | 作用 |
|
||||
|------|------|
|
||||
| **输入分类器** | 检测用户 prompt 是否包含越狱、攻击性内容 |
|
||||
| **输出分类器** | 检测模型回复是否泄露内部指令、生成有害内容 |
|
||||
| **对话级监控** | 检测持续的多轮软磨硬泡攻击("但我换个说法……") |
|
||||
| **人类审核抽样** | 对模型回复按风险加权抽样,人工回溯检查 |
|
||||
|
||||
---
|
||||
|
||||
## 核心矛盾:能力 vs 约束
|
||||
|
||||
这就是 AI 对齐的**根本张力**:
|
||||
|
||||
```
|
||||
┌──────────────────────────────────────────────────┐
|
||||
│ │
|
||||
│ 模型能力越强 ←──── 张力 ────→ 越难约束 │
|
||||
│ │
|
||||
│ · 知道密码学实现 · 用户用学术术语包装 │
|
||||
│ · 理解编译/反编译 · 用多步分解绕过检测 │
|
||||
│ · 能推理二进制结构 · 越狱 prompt 越来越精巧 │
|
||||
│ │
|
||||
└──────────────────────────────────────────────────┘
|
||||
```
|
||||
|
||||
一个足够聪明的模型**必然**知道如何做很多"不好"的事——因为它在预训练中见过这些知识。对齐的目标不是删除这些知识(也删不掉),而是让它**拒绝在有害场景下使用这些知识**。
|
||||
|
||||
---
|
||||
|
||||
## 一句话总结
|
||||
|
||||
**大模型的伦理不是靠一个规则实现的,而是 6 层递进式约束:数据清洗 → SFT 拒绝训练 → RLHF 偏好塑造 → Constitutional AI 原则内化 → 系统提示 → 运行时监控。** 每一层都在前一层的残余漏洞上打补丁,最终让模型在"知道这一切"的同时"选择不做"。
|
||||
Reference in New Issue
Block a user