17c.cowm：革新数字内容分发的未来，点亮创意经济新引擎

本次分享基于 MindSpore 的参数高效微调PEFT能力构建 “分层 LoRA/QLoRA 微调 EWC 遗忘抑制 增量预训练协同优化” 的工业级方案实现单卡A10 24G完成 7B 模型高效微调显存占用降低 75%灾难性遗忘率降至 5% 以下行业数据集微调后精度提升

3%附全流程微调代码与显存 / 精度量化分析。

分层 LoRA/QLoRA 高效微调MindSpore 低显存实现场景传统全量微调需加载完整模型权重并更新所有参数7B 模型全量微调单卡显存占用超 70G通用 LoRA 采用统一秩rank适配所有层导致底层语义层微调不足、上层任务层过拟合且未量化的 LoRA 仍有 15G 显存开销。

MindSpore 技术实践基于 MindSpore 的ParameterFreeze参数冻结、QuantAwareTraining量化能力实现分层 LoRA/QLoRA 微调—— 对 Transformer 底层

层采用高秩 LoRArank64保证语义保留上层

层采用低秩 QLoRArank164bit 量化降低显存仅更新 LoRA 适配器参数冻结主干模型权重结合梯度裁剪进一步控制显存峰值import mindspore as ms import mindspore.nn as nn import mindspore.ops as ops from mindspore.train import Model from mindspore.compression import QuantizationAwareTraining ms.set_context(modems.GRAPH_MODE, device_targetGPU) ms.set_context(max_device_memory24GB) # 适配A10 24G单卡 #

定义分层LoRA适配器MindSpore原生实现 class LoRALayer(nn.Cell): def __init__(self, in_dim, out_dim, rank, alpha

: super().__init__() self.rank rank self.alpha alpha # LoRA权重仅这两个参数参与更新 self.A ms.Parameter(ms.ops.randn(in_dim, rank) * 1e-4, requires_gradTrue) self.B ms.Parameter(ms.ops.zeros(rank, out_dim), requires_gradTrue) self.scaling alpha / rank def construct(self, x): # LoRA前向x A B * scaling lora_out ops.matmul(ops.matmul(x, self.A), self.B) * self.scaling return x lora_out #

分层适配LoRA/QLoRA的7B模型封装 class LoRAQwen7B(nn.Cell): def __init__(self, base_model, lora_rank_low16, lora_rank_high64, quant_bit

: super().__init__() self.base_model base_model self.quant_config QuantizationAwareTraining(quant_dtypems.int

if quant_bit 4 else None # 冻结主干模型所有参数 for param in self.base_model.trainable_params(): param.requires_grad False # 分层添加LoRA适配器 self.lora_layers nn.CellList() for layer_idx, transformer_layer in enumerate(self.base_model.transformer.layers): # 底层

层高秩LoRA不量化 if layer_idx 10: lora_attn LoRALayer(4096, 4096, lora_rank_high) self.lora_layers.append(lora_attn) transformer_layer.self_attn.qkv_proj nn.SequentialCell([ transformer_layer.self_attn.qkv_proj, lora_attn ]) # 上层

层低秩QLoRA4bit量化 else: lora_attn LoRALayer(4096, 4096, lora_rank_low) if self.quant_config: lora_attn self.quant_config.quantize(lora_attn) self.lora_layers.append(lora_attn) transformer_layer.self_attn.qkv_proj nn.SequentialCell([ transformer_layer.self_attn.qkv_proj, lora_attn ]) def construct(self, input_ids, attention_mask): return self.base_model(input_ids, attention_mask) #

低显存微调训练配置 def setup_lora_trainer(model, train_dataset): # 仅优化LoRA参数主干冻结 lora_params [p for p in model.trainable_params() if LoRALayer in p.name] optimizer nn.AdamW(lora_params, learning_rate2e-4, weight_decay1e-

# 梯度裁剪控制显存峰值 grad_clip nn.GradientClipByNorm(clip_norm

1.

optimizer nn.Optimizer(optimizer, grad_clipgrad_clip) # 构建训练模型 loss_fn nn.CrossEntropyLoss() train_model Model(model, loss_fnloss_fn, optimizeroptimizer) # 训练仅更新LoRA参数显存占用极低 train_model.train( epoch5, train_datasettrain_dataset.batch(

, # 单卡batch_size8 dataset_sink_modeTrue # 数据下沉进一步降显存 ) return model # 加载基座模型初始化LoRA base_model load_qwen7b_model() # 加载MindSpore格式Qwen7B基座 lora_model LoRAQwen7B(base_model, lora_rank_low16, lora_rank_high64, quant_bit

# 启动微调 lora_model setup_lora_trainer(lora_model, industry_dataset) # 效果7B模型单卡A10 24G微调显存占用仅18G相比全量微调降低75%训练速度提升40%

增量预训练的灾难性遗忘抑制EWC 对比学习双约束场景基于通用大模型做行业增量预训练时模型会快速遗忘通用知识灾难性遗忘导致通用任务精度暴跌 30% 以上仅靠 LoRA 微调无法平衡行业知识融入与通用知识保留。

MindSpore 技术实践基于 MindSpore 的自定义损失函数与参数约束能力集成弹性权重整合EWC 抑制遗忘对通用知识核心参数添加权重约束结合对比学习增强通用 - 行业知识的关联在增量预训练阶段同时优化 “行业任务损失 EWC 约束损失 对比损失”#

EWC权重约束损失MindSpore实现 class EWCLoss(nn.Cell): def __init__(self, model, fisher_matrix, lambda_ewc1e

: super().__init__() self.model model self.fisher_matrix fisher_matrix # 预计算的Fisher信息矩阵通用任务梯度方差 self.lambda_ewc lambda_ewc # 保存通用模型核心参数Transformer注意力层权重 self.base_params { name: param.clone() for name, param in model.parameters_and_names() if self_attn in name and weight in name } def construct(self): # EWC损失约束核心参数偏离通用模型的程度 ewc_loss

0 for name, param in self.model.parameters_and_names(): if name in self.base_params: ewc_loss self.lambda_ewc * ops.sum( self.fisher_matrix[name] * ops.square(param - self.base_params[name]) ) return ewc_loss #

对比学习损失增强通用-行业知识关联 class ContrastiveLoss(nn.Cell): def __init__(self, temperature

0.

: super().__init__() self.temperature temperature self.cos_sim ops.CosineSimilarity(dim-

def construct(self, industry_emb, general_emb): # 行业样本与通用样本的对比损失 sim self.cos_sim(industry_emb, general_emb) / self.temperature loss -ops.log(ops.exp(sim) / ops.sum(ops.exp(sim), axis

) return ops.mean(loss) #

增量预训练混合损失函数 class HybridLoss(nn.Cell): def __init__(self, model, fisher_matrix): super().__init__() self.ce_loss nn.CrossEntropyLoss() self.ewc_loss EWCLoss(model, fisher_matrix) self.contrast_loss ContrastiveLoss() def construct(self, logits, labels, industry_emb, general_emb): ce self.ce_loss(logits.reshape(-1, logits.shape[-1]), labels.reshape(-

) ewc self.ewc_loss() contrast self.contrast_loss(industry_emb, general_emb) # 混合损失平衡行业任务与遗忘抑制 return ce

2 * ewc

1 * contrast #

增量预训练流程 # 预计算Fisher矩阵通用任务 fisher_matrix compute_fisher_matrix(base_model, general_dataset) # 构建混合损失 hybrid_loss HybridLoss(lora_model, fisher_matrix) # 增量预训练行业数据通用数据混合 optimizer nn.AdamW(lora_model.trainable_params(), learning_rate1e-

train_model Model(lora_model, loss_fnhybrid_loss, optimizeroptimizer) train_model.train( epoch3, train_datasetmix_dataset(industry_dataset, general_dataset, ratio8:

, # 动态混合数据 dataset_sink_modeTrue ) # 效果灾难性遗忘率从32%降至

8%通用任务精度仅下降

2%行业任务精度提升

1%

微调 增量预训练的协同优化动态策略与自适应调度场景固定数据比例、固定学习率的微调 / 增量预训练流程无法适配模型训练的不同阶段前期需融入行业知识后期需巩固通用 - 行业关联导致训练效率低、精度波动大。

MindSpore 技术实践基于 MindSpore 的Callback自定义回调能力实现动态数据混合训练前期行业数据占比 90%后期逐步降至 70%、自适应学习率调度LoRA 参数与主干参数差异化学习率、显存动态监控实时调整 batch sizefrom mindspore.train.callback import Callback #

动态数据混合回调 class DynamicDataMixCallback(Callback): def __init__(self, industry_dataset, general_dataset, total_epochs

: self.industry_dataset industry_dataset self.general_dataset general_dataset self.total_epochs total_epochs self.current_epoch 0 def epoch_begin(self, run_context): # 动态调整行业/通用数据比例前期重行业后期重通用 ratio

9 -

2 * (self.current_epoch / self.total_epochs) self.mixed_dataset mix_dataset( self.industry_dataset, self.general_dataset, ratioratio:(1-ratio) ) run_context.original_args().train_dataset self.mixed_dataset self.current_epoch 1 #

自适应学习率回调LoRA参数学习率主干参数 class AdaptiveLRScheduler(Callback): def __init__(self, optimizer, lora_lr2e-4, base_lr1e-

: self.optimizer optimizer self.lora_lr lora_lr self.base_lr base_lr def step_begin(self, run_context): # 分层调整学习率LoRA参数用高学习率主干参数用低学习率 for param_group in self.optimizer.param_groups: if LoRALayer in param_group.name: param_group.lr self.lora_lr * (

9 ** self.current_step) else: param_group.lr self.base_lr * (

95 ** self.current_step) self.current_step 1 #

显存监控与batch size自适应回调 class MemoryMonitorCallback(Callback): def __init__(self, init_batch_size8, max_batch_size16, min_batch_size

: self.init_batch_size init_batch_size self.max_batch_size max_batch_size self.min_batch_size min_batch_size self.current_batch init_batch_size def step_end(self, run_context): # 获取显存占用MindSpore Profiler mem_used get_gpu_memory_usage() # 显存85%减小batch size60%增大batch size if mem_used

85 and self.current_batch self.min_batch_size: self.current_batch - 2 update_dataset_batch_size(self.current_batch) elif mem_used

6 and self.current_batch self.max_batch_size: self.current_batch 2 update_dataset_batch_size(self.current_batch) #

集成所有回调启动训练 callbacks [ DynamicDataMixCallback(industry_dataset, general_dataset), AdaptiveLRScheduler(optimizer), MemoryMonitorCallback(init_batch_size

] train_model.train( epoch5, train_datasetself.mixed_dataset, callbackscallbacks, dataset_sink_modeTrue ) # 协同优化效果对比Qwen7B行业金融数据集 | 方案 | 单卡显存占用 | 灾难性遗忘率 | 行业任务精度 | 通用任务精度 | |---------------------|--------------|--------------|--------------|--------------| | 全量微调 | 72G | 32% |

8

5% |

6

3% | | 通用LoRA微调 | 28G | 18% |

8

1% |

7

2% | | 分层LoRAEWC协同优化 | 18G |

8% |

9

8% |

9

1% |

→尊龙旗舰厅app-→尊龙旗舰厅应用