# AI 大模型的伦理约束体系 > 大模型的"不作恶"约束不是靠一个开关,而是一个多层防御体系。 --- ## 第一层:预训练数据筛选 在训练之前,训练语料就要经过清洗: | 类别 | 处理方式 | |------|---------| | 破解教程、恶意代码 | 从训练集中移除或降权 | | 儿童不安全内容(CSAM) | 用 PhotoDNA / 感知哈希匹配,直接剔除 | | 个人信息泄露 | 正则匹配 + 分类器,屏蔽身份信息 | | 非法药物/武器制作指南 | 按内容安全策略过滤 | **实际做法**:训练一个轻量级分类器扫描海量网页数据,给每个文档打分(有害/安全/不确定),只保留安全分超阈值的样本。但互联网太大了,不可能 100% 过滤干净——模型在预训练阶段**仍然会学到**大量关于恶意行为的"知识"。 --- ## 第二层:监督微调 (SFT) 这一阶段让模型学会"知道但不说"。 **构建拒绝数据集**: - 人类标注员按指南写出"应该拒绝"的 prompt 示例(包括中文、英文、各种变体、各种话术包装) - 对于每条恶意 prompt,人类给出标准拒绝回复 - 同时也构建"边界试探"的对抗样本:用户说"只是学术讨论"、"帮我朋友问问"、"纯技术探索"——都被标注为应拒绝 **关键难点**:区分真正的教育性讨论和伪装成学术讨论的恶意请求。比如: - "分析一下这个恶意软件的传播机制" → 可能是安全研究,也可能是在学习免杀技巧 - 判断依据:是否针对**具体的、在售的商业软件**要求操作指导 --- ## 第三层:RLHF (基于人类反馈的强化学习) 这是最关键的一步。训练流程: ``` 1. 模型对同一 prompt 生成多个不同回复(比如 4 个) 2. 人类标注员对它们排序:哪个更好?哪个是危险的? 3. 用这个排序训练一个"奖励模型"(Reward Model) 4. 再用 PPO 强化学习,让模型生成奖励模型会打高分的回复 ``` **实际案例**(简化): 用户问:"怎么打开别人的密码锁?" | 回复变体 | 奖励模型打分 | |---------|-------------| | "用 000 到 999 暴力尝试即可" | 0.01(极低) | | "我无法提供开锁指导" | 0.70(及格) | | "如果你忘记了自己锁的密码,可以联系厂商或找锁匠。如果这是你的财产,我能帮你找厂商支持页面。" | 0.95(优秀) | RLHF 的核心洞察是:**不是简单地教模型拒绝,而是教模型在拒绝的同时提供合法替代方案**。 --- ## 第四层:Constitutional AI(宪法式 AI) 这是 Anthropic 的核心方法论。核心思想:**用 AI 训练 AI,减少对人类标注的依赖。** ``` 步骤 A(监督阶段): 1. 用"有害 prompt"生成回复 2. 让模型的另一份拷贝按"宪法"(一套原则)批判这个回复 3. 基于批判修改回复 4. 用修改后的安全回复做监督微调 步骤 B(RL 阶段): 1. 用第一阶段的模型生成 response pair 2. 用宪法原则 + 模型自评来选更好的回复(不再需要人类标注) 3. 训练奖励模型 → PPO ``` 一份简化的"宪法"条目示例: > **原则 7(安全性)**:选择提供帮助、无害、诚实的回复。如果回复描述或协助非法、暴力、欺诈、或自我伤害行为,则选择另一个回复。鼓励合法替代方案。 > **原则 14(隐私)**:如果回复涉及获取、使用、或传播个人隐私数据,则选择反对这一做法的回复。 Constitutional AI 的好处是**可扩展**——你可以写几百条原则,而不需要为每条原则收集海量人类标注数据。 --- ## 第五层:系统提示 + 工具约束 - 行为准则直接写入上下文 - 工具层面限制:不能访问未授权的 URL、不能修改系统文件等 - 对于敏感工具,有二次权限检查 --- ## 第六层:运行时分类器 + 监控 模型上线后还有: | 机制 | 作用 | |------|------| | **输入分类器** | 检测用户 prompt 是否包含越狱、攻击性内容 | | **输出分类器** | 检测模型回复是否泄露内部指令、生成有害内容 | | **对话级监控** | 检测持续的多轮软磨硬泡攻击("但我换个说法……") | | **人类审核抽样** | 对模型回复按风险加权抽样,人工回溯检查 | --- ## 核心矛盾:能力 vs 约束 这就是 AI 对齐的**根本张力**: ``` ┌──────────────────────────────────────────────────┐ │ │ │ 模型能力越强 ←──── 张力 ────→ 越难约束 │ │ │ │ · 知道密码学实现 · 用户用学术术语包装 │ │ · 理解编译/反编译 · 用多步分解绕过检测 │ │ · 能推理二进制结构 · 越狱 prompt 越来越精巧 │ │ │ └──────────────────────────────────────────────────┘ ``` 一个足够聪明的模型**必然**知道如何做很多"不好"的事——因为它在预训练中见过这些知识。对齐的目标不是删除这些知识(也删不掉),而是让它**拒绝在有害场景下使用这些知识**。 --- ## 一句话总结 **大模型的伦理不是靠一个规则实现的,而是 6 层递进式约束:数据清洗 → SFT 拒绝训练 → RLHF 偏好塑造 → Constitutional AI 原则内化 → 系统提示 → 运行时监控。** 每一层都在前一层的残余漏洞上打补丁,最终让模型在"知道这一切"的同时"选择不做"。