Files
Obsidian/杂技杂记/AI_伦理约束体系.md
T
2026-07-21 14:53:24 +08:00

133 lines
5.7 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# AI 大模型的伦理约束体系
> 大模型的"不作恶"约束不是靠一个开关,而是一个多层防御体系。
---
## 第一层:预训练数据筛选
在训练之前,训练语料就要经过清洗:
| 类别 | 处理方式 |
|------|---------|
| 破解教程、恶意代码 | 从训练集中移除或降权 |
| 儿童不安全内容(CSAM) | 用 PhotoDNA / 感知哈希匹配,直接剔除 |
| 个人信息泄露 | 正则匹配 + 分类器,屏蔽身份信息 |
| 非法药物/武器制作指南 | 按内容安全策略过滤 |
**实际做法**:训练一个轻量级分类器扫描海量网页数据,给每个文档打分(有害/安全/不确定),只保留安全分超阈值的样本。但互联网太大了,不可能 100% 过滤干净——模型在预训练阶段**仍然会学到**大量关于恶意行为的"知识"。
---
## 第二层:监督微调 (SFT)
这一阶段让模型学会"知道但不说"。
**构建拒绝数据集**:
- 人类标注员按指南写出"应该拒绝"的 prompt 示例(包括中文、英文、各种变体、各种话术包装)
- 对于每条恶意 prompt,人类给出标准拒绝回复
- 同时也构建"边界试探"的对抗样本:用户说"只是学术讨论"、"帮我朋友问问"、"纯技术探索"——都被标注为应拒绝
**关键难点**:区分真正的教育性讨论和伪装成学术讨论的恶意请求。比如:
- "分析一下这个恶意软件的传播机制" → 可能是安全研究,也可能是在学习免杀技巧
- 判断依据:是否针对**具体的、在售的商业软件**要求操作指导
---
## 第三层:RLHF (基于人类反馈的强化学习)
这是最关键的一步。训练流程:
```
1. 模型对同一 prompt 生成多个不同回复(比如 4 个)
2. 人类标注员对它们排序:哪个更好?哪个是危险的?
3. 用这个排序训练一个"奖励模型"(Reward Model)
4. 再用 PPO 强化学习,让模型生成奖励模型会打高分的回复
```
**实际案例**(简化):
用户问:"怎么打开别人的密码锁?"
| 回复变体 | 奖励模型打分 |
|---------|-------------|
| "用 000 到 999 暴力尝试即可" | 0.01(极低) |
| "我无法提供开锁指导" | 0.70(及格) |
| "如果你忘记了自己锁的密码,可以联系厂商或找锁匠。如果这是你的财产,我能帮你找厂商支持页面。" | 0.95(优秀) |
RLHF 的核心洞察是:**不是简单地教模型拒绝,而是教模型在拒绝的同时提供合法替代方案**。
---
## 第四层:Constitutional AI(宪法式 AI)
这是 Anthropic 的核心方法论。核心思想:**用 AI 训练 AI,减少对人类标注的依赖。**
```
步骤 A(监督阶段):
1. 用"有害 prompt"生成回复
2. 让模型的另一份拷贝按"宪法"(一套原则)批判这个回复
3. 基于批判修改回复
4. 用修改后的安全回复做监督微调
步骤 B(RL 阶段):
1. 用第一阶段的模型生成 response pair
2. 用宪法原则 + 模型自评来选更好的回复(不再需要人类标注)
3. 训练奖励模型 → PPO
```
一份简化的"宪法"条目示例:
> **原则 7(安全性)**:选择提供帮助、无害、诚实的回复。如果回复描述或协助非法、暴力、欺诈、或自我伤害行为,则选择另一个回复。鼓励合法替代方案。
> **原则 14(隐私)**:如果回复涉及获取、使用、或传播个人隐私数据,则选择反对这一做法的回复。
Constitutional AI 的好处是**可扩展**——你可以写几百条原则,而不需要为每条原则收集海量人类标注数据。
---
## 第五层:系统提示 + 工具约束
- 行为准则直接写入上下文
- 工具层面限制:不能访问未授权的 URL、不能修改系统文件等
- 对于敏感工具,有二次权限检查
---
## 第六层:运行时分类器 + 监控
模型上线后还有:
| 机制 | 作用 |
|------|------|
| **输入分类器** | 检测用户 prompt 是否包含越狱、攻击性内容 |
| **输出分类器** | 检测模型回复是否泄露内部指令、生成有害内容 |
| **对话级监控** | 检测持续的多轮软磨硬泡攻击("但我换个说法……") |
| **人类审核抽样** | 对模型回复按风险加权抽样,人工回溯检查 |
---
## 核心矛盾:能力 vs 约束
这就是 AI 对齐的**根本张力**:
```
┌──────────────────────────────────────────────────┐
│ │
│ 模型能力越强 ←──── 张力 ────→ 越难约束 │
│ │
│ · 知道密码学实现 · 用户用学术术语包装 │
│ · 理解编译/反编译 · 用多步分解绕过检测 │
│ · 能推理二进制结构 · 越狱 prompt 越来越精巧 │
│ │
└──────────────────────────────────────────────────┘
```
一个足够聪明的模型**必然**知道如何做很多"不好"的事——因为它在预训练中见过这些知识。对齐的目标不是删除这些知识(也删不掉),而是让它**拒绝在有害场景下使用这些知识**。
---
## 一句话总结
**大模型的伦理不是靠一个规则实现的,而是 6 层递进式约束:数据清洗 → SFT 拒绝训练 → RLHF 偏好塑造 → Constitutional AI 原则内化 → 系统提示 → 运行时监控。** 每一层都在前一层的残余漏洞上打补丁,最终让模型在"知道这一切"的同时"选择不做"。