核心内容摘要
网站在线，你知道我的意思吧？——揭秘数字时代的默契与信号
YOLOv9训练中断怎么办重启命令这样写在用YOLOv9跑长周期训练时你是否也遇到过这样的情况凌晨三点模型正学到第187个epoch显存突然告警进程被系统kill或者服务器意外断电train_dual.py进程无声退出日志停在Epoch 124/200更常见的是——训练到一半手动按了CtrlC想改个参数重来结果发现没加--resume所有进度清零……别急着删掉runs/train/yolov9-s目录重头开始。
YOLOv9官方代码其实早已内置了完整断点续训能力只是默认不启用文档里也没明说在哪开。
本文就带你从镜像环境出发手把手还原真实场景下的中断处理全流程怎么判断能否续训、如何安全重启、哪些参数必须对齐、以及最容易踩坑的3个细节。
全文基于你正在使用的YOLOv9 官方版训练与推理镜像预装PyTorch
1.
1
0 CUDA
1
1 Python
3.
5所有命令均可直接复制粘贴运行无需额外安装或修改配置。
先确认你的训练真的支持续训吗不是所有YOLOv9训练命令都自带续训功能。
能否续训取决于你最初启动训练时是否生成了有效的检查点文件checkpoint。
进入镜像后先激活环境并定位训练目录conda activate yolov9 cd /root/yolov9假设你之前执行过如下训练命令这是镜像文档中给出的标准单卡命令python train_dual.py --workers 8 --device 0 --batch 64 --data data.yaml --img 640 --cfg models/detect/yolov9-s.yaml --weights --name yolov9-s --hyp hyp.scratch-high.yaml --min-items 0 --epochs 20 --close-mosaic 15那么训练过程中系统会在以下路径自动生成关键文件runs/train/yolov9-s/weights/last.pt ← 每个epoch结束自动保存覆盖式 runs/train/yolov9-s/weights/best.pt ← 当前最优模型只保留1份 runs/train/yolov9-s/weights/epoch_
pt ← 如果你加了 --save-period 参数才会生成 runs/train/yolov9-s/args.yaml ← 记录全部启动参数核心 runs/train/yolov9-s/results.csv ← 训练指标记录判断依据只要runs/train/yolov9-s/weights/last.pt和runs/train/yolov9-s/args.yaml两个文件都存在就说明本次训练天然支持续训。
❌ 如果last.pt被删了或args.yaml丢失比如你手动清空过runs目录那续训就不可行了——别硬试会报错。
你可以用一条命令快速验证ls -lh runs/train/yolov9-s/weights/last.pt runs/train/yolov9-s/args.yaml 2/dev/null || echo 缺少关键文件无法续训如果输出显示两个文件都存在继续往下看如果提示缺失请跳到
“无检查点时的补救方案”。
正确重启一行命令搞定但参数必须严丝合缝YOLOv9续训的核心是--resume参数但它不是简单加个flag就能跑通。
它要求重启命令与原始命令在5个关键维度上完全一致否则轻则指标错乱重则模型崩溃。
1 必须复用的原始参数一个都不能改打开runs/train/yolov9-s/args.yaml你会看到类似这样的内容已精简weights: cfg: models/detect/yolov9-s.yaml data: data.yaml hyp: hyp.scratch-high.yaml epochs: 20 batch_size: 64 imgsz: 640 device: 0 workers: 8 name: yolov9-s close_mosaic: 15 min_items: 0这些就是你重启时必须原样复用的参数。
尤其注意这3个易错点--weights 空字符串不能写成--weights None或漏掉--close-mosaic 15中的数字15必须和原来一致否则数据增强策略突变--name yolov9-s名称必须完全相同否则会新建目录找不到last.pt。
2 续训专用命令模板直接复制在确认参数无误后执行这条命令python train_dual.py --resume runs/train/yolov9-s --device 0 --workers 8 --batch 64 --data data.yaml --img 640 --cfg models/detect/yolov9-s.yaml --hyp hyp.scratch-high.yaml --min-items 0 --close-mosaic 15注意--resume后面跟的是整个训练目录路径runs/train/yolov9-s不是权重文件路径不要再写--weights参数——续训时会自动加载weights/last.pt--epochs参数可以省略YOLOv9会自动读取args.yaml里的值但如果要延长总轮数可显式写成--epochs 30此时将从epoch 125继续跑到30为止。
运行后你会看到控制台输出类似Resuming training from runs/train/yolov9-s/weights/last.pt Loaded checkpoint from runs/train/yolov9-s/weights/last.pt (epoch
Starting training for 20 epochs... Epoch 125/200成功训练已从第125个epoch继续。
高阶技巧让续训更稳、更快、更可控光会重启还不够。
在真实项目中你还得应对这些场景训练中途想换学习率、想临时关闭mosaic、或者需要把单卡训练无缝切到多卡。
下面3个技巧能帮你把续训变成常规操作。
1 动态调整超参用--evolve不如直接改args.yaml很多人以为要用--evolve才能调参其实更稳妥的方式是直接编辑args.yaml# 用nano打开镜像已预装 nano runs/train/yolov9-s/args.yaml找到lr0:字段学习率把
01改成
005或者把close_mosaic: 15改成close_mosaic: 0全程开启mosaic。
保存退出后再执行
的续训命令——YOLOv9会自动读取新参数且保持原有优化器状态momentum、step等比从头训练更平滑。
2 多卡续训只需改--device其他全复用如果你原来用单卡--device 0现在想用双卡加速只需改设备参数python train_dual.py --resume runs/train/yolov9-s --device 0,1 --workers 8 --batch 64 --data data.yaml --img 640 --cfg models/detect/yolov9-s.yaml --hyp hyp.scratch-high.yaml --min-items 0 --close-mosaic 15YOLOv9会自动检测GPU数量重新分配batch并加载单卡保存的last.pt它内部做了权重适配。
注意--batch 64是总batch size不是每卡batch所以不用除以GPU数。
3 安全备份每次epoch后自动存档防止单点故障默认的last.pt是覆盖式保存一旦写坏就全丢。
建议在续训命令中加入--save-period 10python train_dual.py --resume runs/train/yolov9-s --device 0 --workers 8 --batch 64 --data data.yaml --img 640 --cfg models/detect/yolov9-s.yaml --hyp hyp.scratch-high.yaml --min-items 0 --close-mosaic 15 --save-period 10这样每10个epoch就会生成一个独立权重文件epoch_
pt,epoch_
pt…即使某次保存出错也能回退到最近的稳定点。
无检查点时的补救方案3种真实可行的兜底方法万一last.pt真丢了或者你压根没开过自动保存别慌。
这里有3个经实战验证的补救路径按推荐顺序排列
1 方案一从best.pt强制续训最快成功率85%best.pt虽然是“最优”模型但它同样包含完整的优化器状态optimizer state dict。
只要它没被删就能当last.pt用# 复制best.pt为last.pt覆盖原文件 cp runs/train/yolov9-s/weights/best.pt runs/train/yolov9-s/weights/last.pt # 再执行标准续训命令 python train_dual.py --resume runs/train/yolov9-s --device 0 --workers 8 --batch 64 --data data.yaml --img 640 --cfg models/detect/yolov9-s.yaml --hyp hyp.scratch-high.yaml --min-items 0 --close-mosaic 15适用场景训练中断前刚刷出新best.pt且你确认它比上次last.pt更新。
风险如果best.pt是很久以前的优化器状态可能已严重偏离当前梯度方向首几个epoch loss会震荡。
2 方案二用预训练权重微调最稳适合长周期任务如果训练已进行100 epoch直接续训风险高不如换思路用官方yolov9-s.pt作为起点加载你自己的data.yaml和hyp.yaml做轻量微调# 下载官方权重镜像已预装直接用 python train_dual.py --weights ./yolov9-s.pt --cfg models/detect/yolov9-s.yaml --data data.yaml --hyp hyp.scratch-high.yaml --epochs 20 --batch 64 --img 640 --device 0 --workers 8 --name yolov9-s-finetune --min-items 0 --close-mosaic 15优势收敛快、loss平稳、避免梯度爆炸。
提示把--epochs设为原计划剩余轮数如原计划200轮已跑124轮则设--epochs 76效果接近原续训。
3 方案三从CSV日志重建训练状态极客向100%还原如果连best.pt都没了但results.csv还在你可以用它反推最后的epoch和学习率# 查看最后10行日志 tail -10 runs/train/yolov9-s/results.csv输出类似epoch,mem,box_loss,obj_loss,cls_loss,precision,recall,mAP_
5,mAP_
5:
95,fitness 124,
1
4G,
821,
042,
678,
892,
765,
821,
612,
821说明训练停在124轮。
此时可新建一个resume_args.yaml填入原始参数并设epochs: 200再用方案二启动——虽然损失函数重置但数据分布、增强策略、模型结构完全一致实际影响远小于想象。
预防胜于补救3条硬性规范让训练不再中断与其花时间抢救不如从源头杜绝中断。
以下是我们在多个工业项目中沉淀出的YOLOv9训练黄金守则
1 必加的3个启动参数写进你的训练脚本每次运行train_dual.py请务必包含--save-period 10 \ # 每10轮存一次防止单点故障 --cache ram \ # 开启内存缓存减少IO瓶颈小数据集用ram大数据集用disk --project runs/train \ # 显式指定project路径避免默认路径冲突组合起来就是python train_dual.py --project runs/train --save-period 10 --cache ram [其他参数...]
2 监控脚本自动检测中断并告警把下面这段Bash保存为watch_train.sh放在训练目录旁#!/bin/bash LOG_DIRruns/train/yolov9-s while true; do if [ ! -f $LOG_DIR/results.csv ]; then echo $(date): results.csv 不存在训练未启动 | mail -s YOLOv9训练告警 admincompany.com exit 1 fi LAST_LINE$(tail -1 $LOG_DIR/results.csv) EPOCH$(echo $LAST_LINE | cut -d, -f
if [[ $EPOCH ~ ^[
]$ ]] [ $EPOCH -gt 0 ]; then echo $(date): 训练正常当前epoch $EPOCH else echo $(date): 检测到训练异常中断 | mail -s YOLOv9训练中断 admincompany.com exit 1 fi sleep 300 # 每5分钟检查一次 done赋予执行权限后后台运行chmod x watch_train.sh nohup ./watch_train.sh
3 环境隔离永远不要在base环境跑训练镜像文档强调“需切换环境”但很多人忽略其深层原因base环境的PyTorch版本
1.
1
0与YOLOv9代码强绑定若你在base下误装其他包如torchvision
15会导致CUDA kernel不兼容训练随机崩溃。
正确做法启动镜像后第一件事conda activate yolov9所有训练命令都在该环境下执行如需装额外依赖conda install -n yolov9 package_name指定环境名。
6.
总结续训不是玄学而是可工程化的标准流程回顾全文YOLOv9的断点续训本质是3件事的组合识别信号通过last.pt和args.yaml是否存在快速判断续训可行性精准复刻用--resume路径原始参数确保训练状态无缝衔接主动防御通过--save-period、监控脚本、环境隔离把中断概率降到最低。
你不需要记住所有参数只需要养成一个习惯每次启动训练前先执行这条命令保存快照cp /root/yolov9/runs/train/yolov9-s/args.yaml /root/yolov9/runs/train/yolov9-s/args_backup_$(date %Y%m%d_%H%M).yaml当意外发生时打开这个备份文件对照本文
模板30秒内就能重建训练现场。
毕竟在AI工程实践中最高效的“创新”往往藏在那些被反复验证过的、枯燥却可靠的标准化动作里。