核心内容摘要
仙人忧患：甘雨被盗宝团挤出璃月，谁将守护这片土地？
作业八终身学习技术综合实战 —— 打造可持续进化的多领域智能助手作业八作为课程高阶综合任务核心是 “整合终身学习四大核心技术”——Fine-tuning微调、Model Editing模型编辑、Model Merging模型融合、Test-Time Training测试时训练实现 “从初始通用模型到多领域、无错误、自适应的智能助手” 的完整迭代流程。
本次作业不局限于单一技术的独立应用更强调 “技术组合策略”—— 根据实际场景需求选择合适的技术搭配让模型在 “学新知、改错误、融能力、应新境” 的循环中持续进化真正落地 “终身学习” 的核心目标。
作业核心目标掌握 3 大综合能力技术整合能力熟练组合四大终身学习技术解决复杂场景问题如多领域适配 错误修正 分布适应工程落地能力从数据准备、模型训练、错误修正到效果验证完成端到端的模型迭代流程问题优化能力能定位模型在不同阶段的核心问题如领域适配不足、事实错误、分布漂移并选择最优技术解决方案。
简单说这份作业的目标是让你跳出 “单一技术应用” 的思维学会用 “终身学习” 的视角设计模型迭代方案打造能持续进化的 AI 应用。
题型拆解5 大核心任务覆盖 “迭代全流程”作业八的题型按 “模型迭代顺序” 设计从单领域适配到多领域融合再到错误修正和动态适应逐步构建完整的终身学习流程
题型一LoRA 微调 —— 给通用模型 “补全领域知识”任务目标基于 Llama
B 初始模型用 LoRA 微调适配 “高中教育” 领域搭建 “高中数学问答助手”要求问答准确率≥85%人工评估且不遗忘通用知识如基础常识问答准确率≥90%。
解题关键思路核心技术LoRA 高效微调低资源场景适配避免灾难性遗忘数据准备“指令 - 输入 - 输出” 格式的高中数学题库含题目、步骤、答案关键控制点控制微调数据量和训练轮次平衡领域适配性和通用知识保留。
完整实操代码python运行# 安装依赖若未安装 # pip install transformers peft torch datasets pandas from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer from peft import LoraConfig, get_peft_model, PeftModel import torch from datasets import Dataset import pandas as pd # ----------------------
数据准备与格式化 ---------------------- # 加载高中数学题库建议至少100条含题目、步骤、答案 math_data pd.DataFrame([ { instruction: 解答高中数学题要求步骤清晰、逻辑严谨, input: 已知函数f(x) x² - 4x 5求其在区间[0, 3]上的最大值和最小值, output: 步骤1确定函数类型\nf(x) x² - 4x 5是二次函数二次项系数a10图像开口向上对称轴为x -b/(2a) 4/(2×
2\n步骤2分析对称轴与区间的关系\n对称轴x2在区间[0, 3]内因此函数在x2处取得最小值\n步骤3计算关键点函数值\n- 最小值f(
2² - 4×2 5 4 - 8 5 1\n- 区间左端点f(
0² - 4×0 5 5\n- 区间右端点f(
3² - 4×3 5 9 - 12 5 2\n步骤4确定最值\n最大值为f(
5最小值为f(
1 }, # 补充更多数学题样本至少99条覆盖函数、几何、数列等题型 ]) # 格式化数据适配LLM输入格式 def format_math_data(examples): return { text: [ f### 指令{inst}\n### 输入{inp}\n### 输出{out} for inst, inp, out in zip(examples[instruction], examples[input], examples[output]) ] } dataset Dataset.from_pandas(math_data).map(format_math_data, batchedTrue) # 划分训练集作业中可全量训练实际项目建议8:2划分 train_dataset dataset # ----------------------
LoRA微调配置 ---------------------- # 加载通用预训练模型 model_name meta-llama/Llama-
3.
B-Instruct tokenizer AutoTokenizer.from_pretrained(model_name) tokenizer.pad_token tokenizer.eos_token # 补充padding token # 加载模型8bit量化节省显存 base_model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypetorch.float16, device_mapauto, load_in_8bitTrue ) # 配置LoRA参数适配8GB显存 lora_config LoraConfig( r8, lora_alpha32, target_modules[q_proj, v_proj], # 聚焦Transformer核心层 lora_dropout
05, biasnone, task_typeCAUSAL_LM ) # 应用LoRA到模型 lora_model get_peft_model(base_model, lora_config) lora_model.print_trainable_parameters() # 仅
1%参数可训练避免遗忘 # ----------------------
训练配置与启动 ---------------------- training_args TrainingArguments( output_dir./llama3_math_lora, per_device_train_batch_size2, gradient_accumulation_steps4, # 模拟更大批次提升训练效果 learning_rate2e-4, # 高效微调专用学习率 num_train_epochs3, # 少轮次避免过拟合和遗忘 logging_steps5, save_steps30, fp16True, # 加速训练 optimpaged_adamw_8bit ) # 初始化训练器 trainer Trainer( modellora_model, argstraining_args, train_datasettrain_dataset ) # 启动微调 trainer.train() # 保存LoRA权重 lora_model.save_pretrained(./llama3_math_lora) print(高中数学领域微调完成LoRA权重已保存) # ----------------------
效果验证通用知识领域知识 ---------------------- def test_model(model, tokenizer, test_prompts): model.eval() results {} with torch.no_grad(): for name, prompt in test_prompts.items(): inputs tokenizer( prompt, return_tensorspt, paddingTrue, truncationTrue, max_length512 ).to(model.device) outputs model.generate( **inputs, max_new_tokens300, temperature
1, # 降低随机性保证准确性 top_p
9 ) results[name] tokenizer.decode(outputs[0], skip_special_tokensTrue) return results # 测试用例通用知识领域知识 test_prompts { 通用知识: 请解释什么是光合作用, 数学领域: 已知等差数列{an}中a12d3求前10项和S10 } # 加载微调后模型 fine_tuned_model PeftModel.from_pretrained(base_model, ./llama3_math_lora) results test_model(fine_tuned_model, tokenizer, test_prompts) # 打印结果 for name, res in results.items(): print(f\n【{name}测试】) print(f输入{test_prompts[name]}) print(f输出{res})关键避坑点数据质量数学题的 “步骤 答案” 必须准确避免错误数据误导模型训练轮次最多
轮过多会导致 “领域过拟合”通用知识遗忘学习率LoRA 微调用 2e-4~3e-4全量微调需用 1e-5避免参数震荡。
题型二Model Editing—— 修正模型中的事实错误任务目标针对上一步微调后的数学领域模型修正其存在的 2 个事实错误如 “π 的近似值为
1416” 被错误输出为 “
1415”、“对数换底公式” 表述错误要求修正准确率 100%且不影响数学领域其他知识和通用知识。
解题关键思路核心技术简化版 ROME 模型编辑精准定位错误权重局部修改关键步骤先定位错误触发 prompt→找到错误相关权重→局部更新权重验证标准修正后错误回答 100% 纠正其他相关问题回答不受影响。
完整实操代码python运行# 基于上一步微调后的模型继续操作 from transformers import AutoModelForCausalLM, AutoTokenizer import torch # ----------------------
定位模型错误 ---------------------- # 加载微调后模型 tokenizer AutoTokenizer.from_pretrained(meta-llama/Llama-
3.
B-Instruct) base_model AutoModelForCausalLM.from_pretrained( meta-llama/Llama-
3.
B-Instruct, torch_dtypetorch.float16, device_mapauto, load_in_8bitTrue ) fine_tuned_model PeftModel.from_pretrained(base_model, ./llama3_math_lora) # 定义错误测试用例验证模型当前错误 error_prompts [ π的近似值保留四位小数是多少, # 错误预期输出
1415 → 正确
1416 请写出对数换底公式的完整表达式 # 错误预期输出log_a b ln b / ln a忽略其他形式→ 正确log_a b log_c b / log_c ac0且c≠1 ] # 测试错误 print(修正前错误测试) for prompt in error_prompts: inputs tokenizer(prompt, return_tensorspt).to(fine_tuned_model.device) outputs fine_tuned_model.generate(**inputs, max_new_tokens100, temperature
0.
print(f输入{prompt}) print(f错误输出{tokenizer.decode(outputs[0], skip_special_tokensTrue)}\n) # ----------------------
模型编辑简化版ROME算法 ---------------------- def model_editing(model, tokenizer, wrong_prompt, correct_answer, layer_idx-
: 简化版模型编辑定位输出层相关权重调整错误token概率 :param model: 待编辑模型 :param tokenizer: 对应的Tokenizer :param wrong_prompt: 触发错误的输入 :param correct_answer: 正确答案 :param layer_idx: 目标层默认倒数第二层接近输出层 :return: 编辑后的模型 # 编码输入和正确答案 inputs tokenizer(wrong_prompt, return_tensorspt).to(model.device) correct_tokens tokenizer.encode(correct_answer, add_special_tokensFalse) # 前向传播获取中间输出 model.eval() with torch.no_grad(): outputs model(**inputs, output_hidden_statesTrue) hidden_states outputs.hidden_states[layer_idx] # 目标层隐藏状态 # 定位输出层权重lm_head lm_head model.base_model.model.lm_head # 输出层 weight lm_head.weight.data # 输出层权重vocab_size × hidden_dim # 计算正确答案token的权重调整方向 for token_id in correct_tokens: # 基于隐藏状态调整对应token的权重提升正确答案概率 token_weight weight[token_id] new_weight token_weight
1 * hidden_states.mean(dim
.squeeze(
# 微调权重 weight[token_id] new_weight # 更新输出层权重 lm_head.weight.data weight return model # 执行模型编辑修正2个错误 edited_model model_editing( fine_tuned_model, tokenizer, wrong_prompterror_prompts[0], correct_answerπ的近似值保留四位小数是
1416 ) edited_model model_editing( edited_model, tokenizer, wrong_prompterror_prompts[1], correct_answer对数换底公式的完整表达式为log_a b log_c b / log_c a其中a0且a≠1b0c0且c≠1 ) # ----------------------
验证编辑效果 ---------------------- print(修正后效果测试) for prompt in error_prompts: inputs tokenizer(prompt, return_tensorspt).to(edited_model.device) outputs edited_model.generate(**inputs, max_new_tokens100, temperature
0.
print(f输入{prompt}) print(f正确输出{tokenizer.decode(outputs[0], skip_special_tokensTrue)}\n) # 验证其他知识未受影响 test_other [ 求函数f(x)x²-4x5的最小值之前正确的数学题, 什么是光合作用通用知识 ] print(其他知识验证) for prompt in test_other: inputs tokenizer(prompt, return_tensorspt).to(edited_model.device) outputs edited_model.generate(**inputs, max_new_tokens200, temperature
0.
print(f输入{prompt}) print(f输出{tokenizer.decode(outputs[0], skip_special_tokensTrue)}\n) # 保存编辑后的模型 edited_model.save_pretrained(./llama3_math_edited) print(模型编辑完成已保存编辑后的模型)关键避坑点编辑范围仅修改输出层或接近输出层的权重避免修改深层权重导致全局知识混乱调整幅度权重调整系数如
1不宜过大否则可能引发新的错误全面验证编辑后需测试 “错误相关问题 其他领域问题 通用知识”确保仅修正目标错误。
题型三Model Merging—— 融合多领域能力任务目标基于 “高中数学领域模型”题型一 题型二产物、“高中物理领域模型”同流程微调 编辑、“高中化学领域模型”同流程微调 编辑通过模型融合技术打造 “高中理科综合智能助手”要求三个领域问答准确率均≥80%无能力冲突如数学和物理知识不混淆。
解题关键思路核心技术权重平均融合简单高效适合同基础模型的多领域融合融合策略等权重融合三个领域重要性一致融合后进行少量对齐微调验证标准每个领域随机抽取 20 道题准确率均达标无交叉领域混淆。
完整实操代码python运行# 假设已完成物理、化学领域模型的微调编辑路径如下 math_model_path ./llama3_math_edited physics_model_path ./llama3_physics_edited # 同流程产物 chemistry_model_path ./llama3_chemistry_edited # 同流程产物 from transformers import AutoModelForCausalLM, AutoTokenizer from peft import PeftModel, LoraConfig import torch # ----------------------
加载三个领域模型 ---------------------- tokenizer AutoTokenizer.from_pretrained(meta-llama/Llama-
3.
B-Instruct) tokenizer.pad_token tokenizer.eos_token # 加载基础模型 base_model AutoModelForCausalLM.from_pretrained( meta-llama/Llama-
3.
B-Instruct, torch_dtypetorch.float16, device_mapauto, load_in_8bitTrue ) # 加载各领域LoRA权重 math_model PeftModel.from_pretrained(base_model, math_model_path) physics_model PeftModel.from_pretrained(base_model, physics_model_path) chemistry_model PeftModel.from_pretrained(base_model, chemistry_model_path) # ----------------------
权重平均融合 ---------------------- def merge_models(models, weightsNone): 权重平均融合支持等权重或自定义权重 :param models: 待融合的模型列表 :param weights: 融合权重默认等权重 :return: 融合后的模型 if weights is None: weights [1/len(models)] * len(models) # 等权重 else: assert sum(weights)
0, 融合权重之和必须为1 # 以第一个模型为基础初始化融合权重 merged_model models[0] merged_state_dict merged_model.state_dict() # 遍历所有模型加权平均权重 for idx, model in enumerate(models[1:],
: model_state_dict model.state_dict() for key in merged_state_dict.keys(): if key in model_state_dict and merged_state_dict[key].shape model_state_dict[key].shape: merged_state_dict[key] merged_state_dict[key] * weights[0] model_state_dict[key] * weights[idx] # 更新融合后的权重 merged_model.load_state_dict(merged_state_dict) return merged_model # 执行融合等权重 merged_model merge_models([math_model, physics_model, chemistry_model]) # ----------------------
对齐微调可选提升融合一致性 ---------------------- # 准备跨领域对齐数据每个领域
条避免融合后能力冲突 alignment_data [ {instruction: 解答高中理科题, input: 求函数f(x)sinx的导数, output: f(x)cosx}, {instruction: 解答高中理科题, input: 牛顿第二定律的表达式是什么, output: 牛顿第二定律的表达式为Fma其中F是合外力m是物体质量a是加速度}, {instruction: 解答高中理科题, input: 水的化学式是什么, output: 水的化学式是H₂O} ] # 格式化数据 def format_alignment_data(examples): return {text: [f### 指令{i}\n### 输入{j}\n### 输出{k} for i,j,k in zip(examples[instruction], examples[input], examples[output])]} from datasets import Dataset alignment_dataset Dataset.from_list(alignment_data).map(format_alignment_data, batchedTrue) # 对齐微调配置 training_args TrainingArguments( output_dir./llama3_science_merged, per_device_train_batch_size2, gradient_accumulation_steps2, learning_rate1e-5, # 极低学习率仅对齐不改变核心能力 num_train_epochs2, logging_steps1, save_steps5, fp16True ) # 启动对齐微调 trainer Trainer( modelmerged_model, argstraining_args, train_datasetalignment_dataset ) trainer.train() # ----------------------
融合效果验证 ---------------------- # 各领域测试用例 test_cases { 数学: 已知圆的方程为(x-
²(y
²25求圆心坐标和半径, 物理: 什么是楞次定律请简要说明其物理意义, 化学: 实验室制取二氧化碳的化学方程式是什么 } print(融合后模型测试) merged_model.eval() with torch.no_grad(): for domain, prompt in test_cases.items(): inputs tokenizer(prompt, return_tensorspt).to(merged_model.device) outputs merged_model.generate(**inputs, max_new_tokens200, temperature
0.
print(f【{domain}】) print(f输入{prompt}) print(f输出{tokenizer.decode(outputs[0], skip_special_tokensTrue)}\n) # 保存融合后的模型 merged_model.save_pretrained(./llama3_science_merged) print(多领域模型融合完成已保存融合模型)关键避坑点模型基础一致性融合的模型必须基于同一预训练模型如均为 Llama
B否则权重无法对齐对齐微调融合后必须进行少量对齐微调避免 “数学模型回答物理问题” 的逻辑冲突权重调整若某领域重要性更高可调整融合权重如数学
4物理
3化学
3。
题型四Test-Time Training—— 适应新场景数据分布任务目标将融合后的 “高中理科综合模型”通过 Test-Time TrainingTTT适配 “新教材新增知识点” 场景如数学新增 “向量叉乘应用”、物理新增 “量子力学基础概念”要求新知识点问答准确率≥75%原有知识点准确率不下降。
解题关键思路核心技术TTT 短时微调测试时用少量新知识点数据适配分布关键参数TTT 步数 3 步、学习率 1e-
新数据量 50 条避免过拟合验证标准新知识点准确率达标原有知识点准确率下降≤5%。
完整实操代码python运行# 基于融合后的理科综合模型继续操作 from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer import torch from datasets import Dataset # ----------------------
加载融合模型 ---------------------- tokenizer AutoTokenizer.from_pretrained(meta-llama/Llama-
3.
B-Instruct) tokenizer.pad_token tokenizer.eos_token merged_model AutoModelForCausalLM.from_pretrained( ./llama3_science_merged, torch_dtypetorch.float16, device_mapauto, load_in_8bitTrue ) # ----------------------
准备新场景数据新教材知识点 ---------------------- new_knowledge_data [ { instruction: 解答高中理科新教材知识点题, input: 简述向量叉乘的几何意义和应用场景, output: 向量叉乘又称向量积的几何意义两个向量a和b的叉乘结果是一个垂直于a和b所在平面的向量其模长等于以a和b为邻边的平行四边形的面积|a×b||a||b|sinθθ为a和b的夹角。
应用场景
计算平面或直线的法向量
判断两个向量是否共线叉乘为零向量则共线
计算平行四边形/三角形面积
物理中计算力矩、角动量等物理量 }, # 补充新教材知识点数据至少49条覆盖数学、物理、化学新增内容 ] # 格式化数据 new_dataset Dataset.from_list(new_knowledge_data).map( lambda x: {text: [f### 指令{i}\n### 输入{j}\n### 输出{k} for i,j,k in zip(x[instruction], x[input], x[output])]}, batchedTrue ) # ----------------------
Test-Time Training执行 ---------------------- def test_time_training(model, new_data, ttt_steps3, lr1e-5, batch_size
: 测试时训练短时适配新数据分布 :param model: 待适配模型 :param new_data: 新场景数据 :param ttt_steps: 微调步数
步 :param lr: 学习率极低避免过拟合 :param batch_size: 批次大小 :return: 适配后模型 # 数据加载器 ttt_loader torch.utils.data.DataLoader(new_data, batch_sizebatch_size) # 配置优化器和损失函数 optimizer torch.optim.Adam(model.parameters(), lrlr) criterion torch.nn.CrossEntropyLoss() # 短时微调 model.train() for step in range(ttt_steps): total_loss
0 for batch in ttt_loader: inputs tokenizer( batch[text], return_tensorspt, paddingTrue, truncationTrue, max_length512 ).to(model.device) # 前向传播 outputs model(**inputs, labelsinputs[input_ids]) loss outputs.loss # 反向传播参数更新 optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() avg_loss total_loss / len(ttt_loader) print(fTTT Step {step1} | Average Loss: {avg_loss:.4f}) # 切换评估模式 model.eval() return model # 执行TTT adapted_model test_time_training(merged_model, new_dataset) # ----------------------
适配效果验证 ---------------------- # 新知识点测试 new_test [ 向量叉乘的模长公式是什么, 量子力学中‘波粒二象性’的核心观点是什么, 化学新教材中环境保护的绿色化学理念包括哪些内容 ] # 原有知识点测试确保不下降 old_test [ 求等差数列前n项和公式, 牛顿第一定律的内容是什么, 实验室制取氧气的两种常用方法是什么 ] print(\n【新知识点测试】) with torch.no_grad(): for prompt in new_test: inputs tokenizer(prompt, return_tensorspt).to(adapted_model.device) outputs adapted_model.generate(**inputs, max_new_tokens200, temperature
0.
print(f输入{prompt}) print(f输出{tokenizer.decode(outputs[0], skip_special_tokensTrue)}\n) print(\n【原有知识点测试】) with torch.no_grad(): for prompt in old_test: inputs tokenizer(prompt, return_tensorspt).to(adapted_model.device) outputs adapted_model.generate(**inputs, max_new_tokens200, temperature
0.
print(f输入{prompt}) print(f输出{tokenizer.decode(outputs[0], skip_special_tokensTrue)}\n) # 保存适配后模型 adapted_model.save_pretrained(./llama3_science_adapted) print(TTT适配新场景完成已保存最终模型)关键避坑点步数控制TTT 步数最多 5 步过多会导致新数据过拟合遗忘原有知识学习率必须用 1e-5~1e-4 的极低学习率仅适配不改变核心能力数据量新场景数据量控制在 50~100 条无需大量数据即可适配分布。
题型五综合任务 —— 端到端打造可进化的智能助手任务目标整合以上所有技术完成 “从初始通用模型到多领域、无错误、自适应的高中理科智能助手” 的端到端落地要求支持数学、物理、化学三个领域的问答无事实错误至少验证 50 个知识点能适配新教材新增知识点准确率≥75%提供完整的模型迭代流程文档。
端到端落地流程初始化加载 Llama
B 通用预训练模型单领域适配LoRA 微调分别适配数学、物理、化学领域错误修正Model Editing 修正每个领域的事实错误至少 2 个 / 领域多领域融合权重平均融合三个领域模型进行对齐微调新场景适配TTT 适配新教材知识点效果验证分领域、分场景全面测试生成验证报告。
验证报告模板简化版测试维度测试用例数量准确率达标情况数学领域旧知3088%达标物理领域旧知3085%达标化学领域旧知3082%达标新教材知识点2078%达标事实错误率500%达标通用知识保留2092%达标
作业避坑指南5 个高频问题解决方案模型遗忘通用知识原因全量微调、训练轮次过多、数据量过大解决优先用 LoRA 高效微调仅训练
1% 参数训练轮次控制在
轮单领域数据量≤200 条。
模型融合后能力冲突原因各领域模型权重差异大无对齐微调解决融合后用跨领域对齐数据每个领域
条进行 2 轮微调学习率 1e-5。
TTT 适配后过拟合新数据原因TTT 步数过多5 步、学习率过大1e-4解决步数控制在 3 步内学习率≤1e-5新数据量≤100 条。
模型编辑后引发新错误原因权重调整幅度过大、修改了深层网络权重解决调整系数≤
1仅修改输出层或倒数第二层权重编辑后全面测试相关知识点。
显存不足原因模型参数量大8B未启用量化解决启用 8bit 量化load_in_8bitTrue批次大小≤2梯度累积步数 4。