核心内容摘要
MWC上非主力手机的新趋势
如何修改verl源码自定义trainer教程
为什么需要修改verl源码verl是一个为大型语言模型后训练量身打造的强化学习框架它的设计哲学是“灵活可扩展”而不是“开箱即用”。
这意味着官方提供的trainer虽然功能完整但往往无法直接满足你的特定需求——比如去掉验证环节、替换奖励计算逻辑、调整数据流结构或者集成私有基础设施。
你可能遇到这些典型场景训练时不需要验证集但默认trainer每次epoch都会跑一次val_step想用业务规则而非预训练RM打分但reward_manager只支持固定几种模式需要将actor和critic部署在不同GPU组上但默认配置把所有组件绑在同一个device_mesh想在训练过程中注入自定义指标如响应合规率、关键词覆盖率但logger不支持动态字段这些问题的答案不在文档里而在源码中。
本文不讲“怎么用verl”而是带你真正走进它的代码世界定位关键文件、理解执行链路、安全修改逻辑、验证改动效果。
全程基于真实工程实践所有操作均可在本地复现。
verl源码结构与核心执行链路
1 项目目录全景图克隆verl后核心训练逻辑集中在verl/trainer/目录下verl/ ├── trainer/ │ ├── fsdp_sft_trainer.py # SFT主入口 │ ├── main_ppo.py # PPO/GRPO主入口 │ ├── config/ # 所有yaml配置模板 │ │ ├── sft_trainer.yaml │ │ └── ppo_trainer.yaml │ └── utils/ # 训练辅助工具 ├── workers/ │ ├── reward_manager/ # 奖励管理器实现 │ │ ├── __init__.py │ │ ├── naive.py # 默认奖励管理器 │ │ └── rm.py # RM打分管理器 │ └── rollout/ # 推理引擎封装 └── utils/ # 通用工具函数关键提示verl采用Hydra配置驱动架构所有trainer入口都通过hydra.main()加载yaml配置。
这意味着修改行为的优先级是配置文件 命令行参数 源码硬编码。
优先尝试用配置解决再考虑改代码。
2 SFT训练链路解析以fsdp_sft_trainer.py为例其执行流程如下graph LR A[main函数] -- B[初始化分布式环境] B -- C[加载config] C -- D[构建FSDPSFTTrainer实例] D -- E[调用trainer.fit()] E -- F[run_training_loop] F -- G[prepare_dataloader] F -- H[run_epoch] H -- I[run_train_step] H -- J[run_val_step] -- 可移除核心类FSDPSFTTrainer继承自BaseTrainer位于verl/trainer/base.py。
它定义了标准训练循环而具体step逻辑在子类中实现train_step()前向传播、损失计算、反向传播val_step()验证集评估本文重点改造对象save_checkpoint()模型保存逻辑
3 GRPO训练链路解析main_ppo.py的流程更复杂涉及多角色协同graph TB K[main函数] -- L[run_ppo] L -- M[初始化Actor/Rollout/Ref/Critic] M -- N[主训练循环] N -- O[rollout阶段] -- vLLM或HF推理 -- P[生成response] N -- Q[reward计算] -- reward_manager.call -- R[打分] N -- S[loss计算] -- GRPO公式 -- T[更新actor]其中reward_manager是独立模块通过algorithm.adv_estimatorgrpo触发。
它的输入是DataProto对象包含prompt/response token ids输出是reward tensor。
这是自定义业务奖励的黄金切入点。
修改SFT Trainer移除验证环节
1 定位验证逻辑位置打开verl/trainer/fsdp_sft_trainer.py搜索val_step或validation找到关键代码段约第180行def fit(self): for epoch in range(self.config.trainer.total_epochs): self.train_epoch() if self.val_dataloader is not None: # ← 这里控制是否执行验证 self.val_epoch() # ← 验证入口继续追踪val_epoch()方法发现它依赖self.val_dataloader。
而该dataloader在__init__中通过self._build_dataloaders()创建条件是config.data.val_files存在。
2 两种安全移除方案方案一配置层面禁用推荐在自定义yaml配置中将验证集路径设为空并关闭验证开关# sft_no_val.yaml data: val_files: null # 显式设为null val_batch_size: 1 # 防止配置校验失败 trainer: run_validation: false # ← 新增开关需配合代码修改然后修改fsdp_sft_trainer.py中的fit()方法# 在fit()开头添加 self.run_validation getattr(self.config.trainer, run_validation, True) # 替换原验证判断逻辑 if self.run_validation and self.val_dataloader is not None: self.val_epoch()方案二代码层面彻底删除若确定永远不需要验证直接注释掉相关逻辑# 注释掉整个val_epoch方法体 def val_epoch(self): # logger.info(Running validation...) # with torch.no_grad(): # for batch in self.val_dataloader: # ... pass # 留空占位避免语法错误同时删除__init__中构建val_dataloader的代码约第95行# 删除这行 self.val_dataloader self._build_val_dataloader()工程建议方案一更安全。
它保留了验证能力仅通过配置开关控制符合verl“灵活可扩展”的设计原则且便于未来快速启用。
修改GRPO Trainer自定义Reward Manager
1 Reward Manager工作原理verl/workers/reward_manager/naive.py中的NaiveRewardManager是默认实现。
它的工作流程是检查batch中是否存在rm_scores字段来自外部RM若不存在则调用_default_compute_score()计算基础分数如长度、重复率等返回shape为(batch_size, seq_len)的reward tensor关键约束reward必须作用于response的最后一个token位置即reward_tensor[i, -1]因为GRPO损失函数只取末尾reward。
2 创建CustomRewardManager在verl/workers/reward_manager/下新建custom.py# verl/workers/reward_manager/custom.py from verl import DataProto from verl.utils.reward_score import _default_compute_score import torch import re class CustomRewardManager: 业务定制化奖励管理器基于响应内容合规性打分 def __init__(self, tokenizer, num_examine1, compute_scoreNone) - None: self.tokenizer tokenizer self.num_examine num_examine self.compute_score compute_score or self._compute_business_score def _compute_business_score(self, prompt: str, response: str) - float: 业务规则打分函数检查响应是否包含禁止词、是否回答完整 # 规则1禁止词检测示例 banned_words [违法, 违规, 赌博] for word in banned_words: if word in response: return -
1
0 # 严重惩罚 # 规则2回答完整性检查是否以句号/问号结束 if not response.strip().endswith((。
, , , ., ?, !, …)): return
5 # 不完整扣分 # 规则3长度奖励鼓励适度长度 length_bonus min(len(response) /
1
0,
2.
# 最高2分 return
0 length_bonus def __call__(self, data: DataProto): reward_tensor torch.zeros_like(data.batch[responses], dtypetorch.float
for i in range(len(data)): data_item data[i] # 解码prompt和response跳过padding prompt_ids data_item.batch[prompts] response_ids data_item.batch[responses] # 获取有效长度 prompt_mask data_item.batch[attention_mask][:len(prompt_ids)] valid_prompt_len prompt_mask.sum().item() valid_prompt_ids prompt_ids[-valid_prompt_len:] if valid_prompt_len 0 else torch.tensor([]) response_mask data_item.batch[attention_mask][len(prompt_ids):] valid_response_len response_mask.sum().item() valid_response_ids response_ids[:valid_response_len] if valid_response_len 0 else torch.tensor([]) # 转字符串 prompt_str self.tokenizer.decode(valid_prompt_ids, skip_special_tokensTrue) response_str self.tokenizer.decode(valid_response_ids, skip_special_tokensTrue) # 计算业务分数 score self._compute_business_score(prompt_str, response_str) # 赋值到response末尾位置 if valid_response_len 0: reward_tensor[i, valid_response_len - 1] score return reward_tensor
3 注册并启用自定义Manager修改verl/workers/reward_manager/__init__.py添加导出from .custom import CustomRewardManager __all__ [NaiveRewardManager, RMModelRewardManager, CustomRewardManager]在main_ppo.py中注册新类型约第120行# 在reward_manager_factory函数中添加 elif reward_manager_type custom: from verl.workers.reward_manager import CustomRewardManager reward_manager CustomRewardManager(tokenizertokenizer, num_examineconfig.algorithm.num_examine)在yaml配置中指定reward_manager: custom # 替换原来的naive调试技巧在__call__方法开头添加print(fPrompt: {prompt_str[:50]}... Response: {response_str[:50]}... Score: {score})可实时观察reward计算过程。
修改Trainer支持自定义YAML配置路径
1 问题分析官方trainer使用Hydra的hydra.main()装饰器强制从固定路径加载配置。
这导致无法在脚本中动态传入配置路径多个实验需维护多个分支代码CI/CD流水线难以统一管理配置
2 实现配置路径注入以fsdp_sft_trainer.py为例进行三步改造步骤1移除Hydra装饰器添加argparse# 移除原装饰器 # hydra.main(config_pathconfig, config_namesft_trainer, version_baseNone) import argparse from omegaconf import OmegaConf def load_config(config_path: str): 安全加载YAML配置支持变量插值 try: config OmegaConf.load(config_path) # 解析OmegaConf的变量插值如${data.train_files} config OmegaConf.to_container(config, resolveTrue) config OmegaConf.create(config) return config except Exception as e: raise ValueError(fFailed to load config from {config_path}: {e}) def main(args): config load_config(args.config_path) # 原有逻辑保持不变... local_rank, rank, world_size initialize_global_process_group() device_mesh init_device_mesh(device_typecuda, mesh_shape(world_size,), mesh_dim_names(fsdp,)) dp_size world_size // config.ulysses_sequence_parallel_size ulysses_device_mesh init_device_mesh(device_typecuda, mesh_shape(dp_size, config.ulysses_sequence_parallel_size), mesh_dim_names(dp, sp)) trainer FSDPSFTTrainer(configconfig, device_meshdevice_mesh, ulysses_device_meshulysses_device_mesh) trainer.fit() if __name__ __main__: parser argparse.ArgumentParser(descriptionSFT Trainer with custom config path) parser.add_argument(--config_path, typestr, requiredTrue, helpPath to YAML config file) args parser.parse_args() main(args)步骤2更新运行脚本# 替换原torchrun命令 torchrun --standalone --nnodes1 --nproc_per_node8 \ -m verl.trainer.fsdp_sft_trainer \ --config_path/path/to/your/sft_config.yaml步骤3配置文件兼容性处理确保自定义yaml中包含所有必需字段。
可基于官方config/sft_trainer.yaml复制修改特别注意data.train_files和model.partial_pretrain必须存在trainer.default_local_dir需有写入权限optim.lr等超参不可缺失安全边界此修改完全兼容原Hydra配置语法如变量插值${}、合并无需重写配置逻辑。
模型权重转换从FSDP Checkpoint到HuggingFace格式
1 FSDP Checkpoint结构解析verl保存的checkpoint是分片的PyTorch state_dictcheckpoints/ └── global_step_100/ └── actor/ ├── model_world_size_8_rank_
pt ├── model_world_size_8_rank_
pt └── ...每个.pt文件包含该rank负责的模型分片shard。
直接加载会报错“Missing key xxx”。
2 安全转换脚本创建convert_fsdp_to_hf.py#!/usr/bin/env python import torch from collections import defaultdict from transformers import AutoConfig, AutoModelForCausalLM, AutoTokenizer import os import argparse def convert_fsdp_checkpoint(fsdp_dir: str, hf_output_dir: str, world_size: int
: 将verl FSDP checkpoint转换为HuggingFace格式 Args: fsdp_dir: verl checkpoint根目录含model_world_size_*_rank_*.pt hf_output_dir: 输出HF模型目录 world_size: GPU数量需与训练时一致 print(fLoading FSDP checkpoint from {fsdp_dir}) #
合并所有分片 state_dict defaultdict(list) for rank in range(world_size): filepath f{fsdp_dir}/model_world_size_{world_size}_rank_{rank}.pt if not os.path.exists(filepath): raise FileNotFoundError(fMissing shard: {filepath}) print(fLoading {filepath}) shard torch.load(filepath, map_locationcpu) for key, tensor in shard.items(): # FSDP分片按第一维切分通常是weight维度 if isinstance(tensor, torch.Tensor) and len(tensor.shape) 0: state_dict[key].append(tensor) else: # 非张量参数如optimizer state跳过 continue #
拼接分片假设按dim0切分 merged_state_dict {} for key, shards in state_dict.items(): if len(shards) 1: merged_state_dict[key] shards[0] else: # 检查分片是否可拼接 if all(s.dim() 0 for s in shards): merged_state_dict[key] torch.cat(shards, dim
else: merged_state_dict[key] shards[0] #
加载HF模型骨架 # 从verl config中提取模型路径或手动指定 config_path os.path.join(fsdp_dir, .., huggingface) # verl默认保存位置 if not os.path.exists(config_path): raise ValueError(fCannot find HF config at {config_path}. Please ensure verl saved it.) config AutoConfig.from_pretrained(config_path) model AutoModelForCausalLM.from_config(config) #
加载合并后的权重 model.load_state_dict(merged_state_dict, strictFalse) #
保存为HF格式 print(fSaving to {hf_output_dir}) model.save_pretrained(hf_output_dir, max_shard_size10GB) #
复制tokenizer tokenizer AutoTokenizer.from_pretrained(config_path) tokenizer.save_pretrained(hf_output_dir) print(Conversion completed successfully!) if __name__ __main__: parser argparse.ArgumentParser() parser.add_argument(--fsdp_dir, typestr, requiredTrue, helpPath to FSDP checkpoint dir) parser.add_argument(--hf_output_dir, typestr, requiredTrue, helpOutput HF model dir) parser.add_argument(--world_size, typeint, default8, helpNumber of GPUs used in training) args parser.parse_args() convert_fsdp_checkpoint(args.fsdp_dir, args.hf_output_dir, args.world_size)运行命令python convert_fsdp_to_hf.py \ --fsdp_dir /path/to/verl/checkpoints/global_step_100/actor \ --hf_output_dir /path/to/hf_model \ --world_size 8关键保障脚本自动检测分片完整性对非张量参数做安全跳过strictFalse避免因FSDP特殊key导致加载失败。
工程化最佳实践与避坑指南
1 修改源码的安全守则永远不要直接修改pip install安装的包正确做法git clone源码 →pip install -e .开发模式→ 修改本地文件小步提交验证每一步# 修改后立即测试最小case python -m verl.trainer.fsdp_sft_trainer --config_path test_config.yaml保留原始逻辑的注释# OLD: if self.val_dataloader is not None: # NEW: if getattr(self.config.trainer, run_validation, False):
2 常见陷阱与解决方案问题现象根本原因解决方案KeyError: rm_scores自定义reward未正确注入batch缺少字段在CustomRewardManager.__call__开头添加print(data.batch.keys())调试CUDA out of memory修改并行配置后显存计算错误检查ppo_max_token_len_per_gpu是否与实际序列长度匹配ValueError: Expected all tensors to be on the same device分片tensor未统一到CPU在convert_fsdp_to_hf.py中添加map_locationcpu训练loss为NaNreward值过大导致梯度爆炸在reward函数中添加score torch.clamp(score, -
0,
5.
0)
3 版本升级兼容性策略verl持续迭代你的修改可能在新版本失效。
建立防护机制创建patch文件git diff my_modifications.patch在CI中加入回归测试编写最小训练脚本验证修改功能是否正常关注breaking changes订阅verl release notes重点关注trainer/和workers/目录变更
8.
总结本文不是一份“如何用verl”的说明书而是一份大模型后训练框架的源码解剖手册。
我们共同完成了四次关键改造精准外科手术定位并安全移除SFT中的验证逻辑让训练更专注业务能力注入从零构建CustomRewardManager将业务规则转化为可训练信号工程体验升级打破Hydra配置束缚实现配置路径自由注入生态无缝衔接将FSDP分片checkpoint转换为HuggingFace标准格式打通上下游工具链这些修改背后是verl框架最珍贵的设计思想它不试图定义你的工作流而是为你提供可拆卸、可替换、可组合的乐高积木。
当你开始修改源码时你已不再是框架的使用者而是它的协作者。
真正的灵活性永远诞生于理解之后的修改而非配置之中的妥协。