核心内容摘要
航向伟大航路的未知海域：当《海贼王》遇上…（此处略去）
大语言模型对齐核心算法浅析SFT、RLHF、DPO、PPO、GRPO这些算法均是大语言模型人类对齐阶段的核心方法核心目标是让预训练大模型的输出贴合人类偏好、遵循自然语言指令、符合伦理规范与事实逻辑其中SFT是所有对齐的基础RLHF是经典对齐框架PPO是RLHF的核心强化学习组件DPO是RLHF的极简替代方案GRPO是PPO的改进版彼此存在明确的层级和技术承接关系。
本文以原理核心步骤优缺点适用场景为核心维度浅析避开复杂公式聚焦工程落地的核心认知。
SFT监督微调Supervised Fine-Tuning核心定位大模型人类对齐的第一步所有后续对齐算法的基础无SFT的基础模型后续RLHF/DPO/PPO/GRPO的对齐都是空中楼阁。
核心原理用高质量人类标注的指令-回答成对数据在大模型预训练的基础上做小幅度微调让模型学习人类的指令理解逻辑、基础回答范式和语言表达习惯把预训练阶段“无目标的语言建模”转化为“有目标的指令遵循”。
核心步骤构建高质量数据集整理多样化指令库覆盖日常对话、专业任务、逻辑推理等由人类标注对应的优质回答保证数据的准确性和多样性轻量化微调为防止灾难性遗忘丢失预训练的通用语言能力通常冻结模型底层的大部分参数仅微调上层的注意力层/全连接层或采用LoRA/QLoRA等高效微调方法评估与筛选通过自动指标如BLEU、CHRF人工抽样评估筛选出指令理解能力最优的SFT模型作为后续对齐的初始模型。
优缺点优点实现简单、训练稳定、工程成本低能快速让模型具备基础的指令遵循能力缺点依赖高质量人类标注无法解决人类偏好的细粒度差异如两个回答都正确哪个更简洁/更贴合语境/更有深度泛化性有限对未见过的指令处理能力弱。
适用场景所有大模型的对齐前置步骤是中小规模大模型“轻量对齐”的可选终方案若对偏好对齐要求不高仅需基础指令遵循SFT即可满足。
RLHF人类反馈的强化学习Reinforcement Learning from Human Feedback核心定位OpenAI提出的大模型经典对齐框架行业内首个实现“细粒度人类偏好对齐”的方案GPT-
5/Claude早期版本均基于此并非单一算法而是SFT人类偏好标注奖励模型强化学习的组合体系。
核心原理把人类主观偏好转化为模型可量化的奖励信号以SFT模型为初始策略通过强化学习算法优化模型参数让模型生成“人类认为更优”的回答核心是“用人类反馈指导模型的迭代方向”。
核心三步法经典流程基础SFT训练得到具备基础指令遵循能力的SFT模型同上文奖励模型RM训练让SFT模型对同一指令生成多个不同回答由人类对这些回答进行排序/评分标注偏好用这些带偏好标签的数据训练奖励模型RM的核心输出是奖励值奖励值越高代表回答越符合人类偏好强化学习微调以SFT模型为初始策略以RM为奖励函数用强化学习算法核心是PPO优化模型让模型生成的回答能获得RM的高奖励同时加入KL散度约束限制模型与SFT模型的分布差异防止丢失基础能力。
优缺点优点对齐效果极致能精准捕捉人类的细粒度偏好如简洁性、逻辑性、友好度是大模型对齐的“行业标杆”缺点流程极其复杂三步均需独立训练和调参、工程成本极高大量人类偏好标注、训练稳定性差强化学习阶段易出现模式崩溃、样本效率低普通团队难以落地。
适用场景追求极致对齐效果的超大规模大模型研发如头部厂商的旗舰级大模型GPT系列、文心一言、通义千问旗舰版。
PPO近端策略优化Proximal Policy Optimization核心定位并非独立的对齐框架是RLHF框架中第三步强化学习微调的核心算法也是目前大模型强化学习对齐中应用最广泛的策略优化器替代了传统强化学习如TRPO、DDPG在大模型上的落地难题。
核心原理针对传统强化学习算法计算复杂、训练慢、策略更新步长不可控的问题PPO通过裁剪的目标函数限制模型策略的更新步长让每次参数更新都在“近端”即策略的微小变化防止策略突变导致训练崩溃同时结合RLHF的KL散度约束平衡“人类偏好对齐”和“模型基础能力保留”。
核心改进相比传统RL把TRPO的复杂数学约束转化为简单的裁剪损失函数无需计算复杂的二阶导数实现难度低、训练速度快且能通过调整裁剪系数灵活控制策略更新的幅度是为“工程落地”优化的强化学习算法。
在RLHF中的作用作为策略优化器接收RM输出的奖励信号通过迭代更新模型参数最大化模型生成高奖励回答的概率是连接“奖励模型”和“最终对齐模型”的核心桥梁。
优缺点优点相比传统RL更稳定、易实现、工程落地性强是RLHF的标配算法缺点仍存在样本效率低、调参难度大裁剪系数、KL权重需反复调试、长期训练易出现模式崩溃模型生成的回答趋同、缺乏多样性的问题。
适用场景RLHF框架的强化学习阶段是大模型强化学习对齐的“基础算法”。
DPO直接偏好优化Direct Preference Optimization核心定位2023年提出的RLHF极简替代方案目前行业主流的大模型对齐算法Llama
Mistral、通义千问轻量版、文心一言轻量版均基于此核心是“跳过RM和RL直接用人类偏好数据优化模型”。
核心原理基于对比学习的思想摒弃RLHF的“奖励模型训练强化学习微调”两步直接用人类标注的成对偏好数据(指令, 优回答A, 差回答B)构建偏好损失函数让模型生成优回答A的概率远大于差回答B的概率同时通过正则化项约束模型与SFT模型的偏离程度实现“一步对齐”。
核心步骤训练基础SFT模型同上文收集人类成对偏好数据仅需标注“哪个回答更好”无需排序/评分标注成本远低于RLHF用DPO专属损失函数直接微调SFT模型一步得到对齐模型。
优缺点优点流程极简单仅两步、无需训练奖励模型、无需强化学习框架、训练超稳定、样本效率高、标注和工程成本低对齐效果无限接近调优后的RLHF缺点对齐效果略逊于极致调参的RLHF对超大规模模型千亿参数以上的细粒度偏好对齐效果仍在持续验证对偏好数据的多样性要求较高。
适用场景中小规模大模型对齐、大模型的快速迭代研发、成本敏感的企业级大模型落地是目前90%以上大模型研发团队的首选对齐算法。
GRPO广义近端策略优化Generalized Proximal Policy Optimization核心定位PPO的改进版针对PPO在大模型对齐中存在的训练不稳定、KL散度约束难调参、样本效率低等问题做了泛化优化仍属于强化学习算法可替代PPO应用于RLHF框架。
核心原理在PPO的基础上重新设计了策略更新的目标函数核心改进点有三将PPO的裁剪损失和KL散度约束进行深度融合而非简单的加权求和让策略更新更平滑引入自适应KL权重根据训练过程中的模型分布变化动态调整KL权重替代PPO的固定值解决“KL权重调参难”的行业痛点优化了策略和价值函数的联合训练方式减少两者的训练冲突提升样本利用率同时支持多维度奖励信号如人类偏好事实性伦理规范的融合优化。
优缺点优点比PPO训练更稳定、样本效率更高、调参更简单、支持多维度奖励对齐在相同数据量下对齐效果优于PPO缺点实现比PPO稍复杂目前行业落地案例比PPO和DPO少相关开源工具链尚未完全成熟仍在快速发展中。
适用场景需要用强化学习做复杂对齐的场景如多维度奖励融合、极致细粒度偏好对齐替代PPO作为RLHF的核心强化学习算法适合头部大模型厂商的自研对齐框架。
核心算法对比表为更清晰体现各算法的差异以下从定位/归属、核心步骤、是否需RM、是否需RL、训练难度、对齐效果、落地成本7个核心维度做对比方便工程落地决策算法定位/归属核心步骤是否需训练RM是否需RL框架训练难度对齐效果落地成本SFT对齐基础独立算法数据构建→轻量化微调否否极低基础仅指令遵循极低RLHF经典对齐框架SFT→RM训练→RL微调是是极高极致人类偏好精准对齐极高PPORLHF的RL组件无独立步骤为RLHF第三步服务依赖RM需配合是中等优依赖RM和调参中高DPO独立对齐算法RLHF替代方案SFT→成对偏好数据微调否否低优秀接近极致RLHF低GRPOPPO改进版RLHF的RL组件无独立步骤替代PPO为RLHF第三步服务依赖RM需配合是中高更优优于PPO中
行业落地趋势
总结SFT的基础地位不可撼动所有对齐算法均以SFT模型为初始模型高质量SFT数据集是对齐的核心前提目前行业主流做法是结合开源通用指令集行业专属指令集构建SFT数据DPO成为行业主流因流程简单、成本低、效果优DPO已替代RLHF成为90%以上大模型研发团队的首选对齐算法开源生态如DPOv
KD-DPO也在持续优化进一步提升其对齐效果和样本效率RLHFPPO/GRPO聚焦极致场景仅头部大模型厂商会投入资源做极致调参的RLHF且逐步用GRPO替代PPO提升强化学习阶段的训练效率和稳定性混合对齐成新方向目前行业出现SFTDPO轻量RL的混合对齐方案结合DPO的高效和RL的细粒度优化在成本和效果之间做平衡适合中大规模大模型的落地。
简单来说中小团队选SFTDPO即可满足大部分场景需求头部团队追求极致效果可选SFTRMGRPO的RLHF框架。