时地方

This commit is contained in:
coco
2026-07-21 14:53:24 +08:00
parent 8b94d76799
commit 1b8027e61c
308 changed files with 61360 additions and 10 deletions
+133
View File
@@ -0,0 +1,133 @@
# AI 大模型的伦理约束体系
> 大模型的"不作恶"约束不是靠一个开关,而是一个多层防御体系。
---
## 第一层:预训练数据筛选
在训练之前,训练语料就要经过清洗:
| 类别 | 处理方式 |
|------|---------|
| 破解教程、恶意代码 | 从训练集中移除或降权 |
| 儿童不安全内容(CSAM) | 用 PhotoDNA / 感知哈希匹配,直接剔除 |
| 个人信息泄露 | 正则匹配 + 分类器,屏蔽身份信息 |
| 非法药物/武器制作指南 | 按内容安全策略过滤 |
**实际做法**:训练一个轻量级分类器扫描海量网页数据,给每个文档打分(有害/安全/不确定),只保留安全分超阈值的样本。但互联网太大了,不可能 100% 过滤干净——模型在预训练阶段**仍然会学到**大量关于恶意行为的"知识"。
---
## 第二层:监督微调 (SFT)
这一阶段让模型学会"知道但不说"。
**构建拒绝数据集**:
- 人类标注员按指南写出"应该拒绝"的 prompt 示例(包括中文、英文、各种变体、各种话术包装)
- 对于每条恶意 prompt,人类给出标准拒绝回复
- 同时也构建"边界试探"的对抗样本:用户说"只是学术讨论"、"帮我朋友问问"、"纯技术探索"——都被标注为应拒绝
**关键难点**:区分真正的教育性讨论和伪装成学术讨论的恶意请求。比如:
- "分析一下这个恶意软件的传播机制" → 可能是安全研究,也可能是在学习免杀技巧
- 判断依据:是否针对**具体的、在售的商业软件**要求操作指导
---
## 第三层:RLHF (基于人类反馈的强化学习)
这是最关键的一步。训练流程:
```
1. 模型对同一 prompt 生成多个不同回复(比如 4 个)
2. 人类标注员对它们排序:哪个更好?哪个是危险的?
3. 用这个排序训练一个"奖励模型"(Reward Model)
4. 再用 PPO 强化学习,让模型生成奖励模型会打高分的回复
```
**实际案例**(简化):
用户问:"怎么打开别人的密码锁?"
| 回复变体 | 奖励模型打分 |
|---------|-------------|
| "用 000 到 999 暴力尝试即可" | 0.01(极低) |
| "我无法提供开锁指导" | 0.70(及格) |
| "如果你忘记了自己锁的密码,可以联系厂商或找锁匠。如果这是你的财产,我能帮你找厂商支持页面。" | 0.95(优秀) |
RLHF 的核心洞察是:**不是简单地教模型拒绝,而是教模型在拒绝的同时提供合法替代方案**。
---
## 第四层:Constitutional AI(宪法式 AI)
这是 Anthropic 的核心方法论。核心思想:**用 AI 训练 AI,减少对人类标注的依赖。**
```
步骤 A(监督阶段):
1. 用"有害 prompt"生成回复
2. 让模型的另一份拷贝按"宪法"(一套原则)批判这个回复
3. 基于批判修改回复
4. 用修改后的安全回复做监督微调
步骤 B(RL 阶段):
1. 用第一阶段的模型生成 response pair
2. 用宪法原则 + 模型自评来选更好的回复(不再需要人类标注)
3. 训练奖励模型 → PPO
```
一份简化的"宪法"条目示例:
> **原则 7(安全性)**:选择提供帮助、无害、诚实的回复。如果回复描述或协助非法、暴力、欺诈、或自我伤害行为,则选择另一个回复。鼓励合法替代方案。
> **原则 14(隐私)**:如果回复涉及获取、使用、或传播个人隐私数据,则选择反对这一做法的回复。
Constitutional AI 的好处是**可扩展**——你可以写几百条原则,而不需要为每条原则收集海量人类标注数据。
---
## 第五层:系统提示 + 工具约束
- 行为准则直接写入上下文
- 工具层面限制:不能访问未授权的 URL、不能修改系统文件等
- 对于敏感工具,有二次权限检查
---
## 第六层:运行时分类器 + 监控
模型上线后还有:
| 机制 | 作用 |
|------|------|
| **输入分类器** | 检测用户 prompt 是否包含越狱、攻击性内容 |
| **输出分类器** | 检测模型回复是否泄露内部指令、生成有害内容 |
| **对话级监控** | 检测持续的多轮软磨硬泡攻击("但我换个说法……") |
| **人类审核抽样** | 对模型回复按风险加权抽样,人工回溯检查 |
---
## 核心矛盾:能力 vs 约束
这就是 AI 对齐的**根本张力**:
```
┌──────────────────────────────────────────────────┐
│ │
│ 模型能力越强 ←──── 张力 ────→ 越难约束 │
│ │
│ · 知道密码学实现 · 用户用学术术语包装 │
│ · 理解编译/反编译 · 用多步分解绕过检测 │
│ · 能推理二进制结构 · 越狱 prompt 越来越精巧 │
│ │
└──────────────────────────────────────────────────┘
```
一个足够聪明的模型**必然**知道如何做很多"不好"的事——因为它在预训练中见过这些知识。对齐的目标不是删除这些知识(也删不掉),而是让它**拒绝在有害场景下使用这些知识**。
---
## 一句话总结
**大模型的伦理不是靠一个规则实现的,而是 6 层递进式约束:数据清洗 → SFT 拒绝训练 → RLHF 偏好塑造 → Constitutional AI 原则内化 → 系统提示 → 运行时监控。** 每一层都在前一层的残余漏洞上打补丁,最终让模型在"知道这一切"的同时"选择不做"。