核心内容摘要
17视频：不止于记录，更点亮生活中的每一帧精彩
前言上篇文章《大模型训练全流程实战指南基础篇四——本地部署大模型API调用实战Python对接OpenAI格式全解析》介绍了如何通过代码调用本地部署的大模型实现自动化任务处理。
至此大家已经掌握了模型文件结构、模型本地部署与API代码调用的基本技能。
从本期内容开始本系列将进入工具篇。
在工具篇笔者首先会系统梳理大模型训练的整体流程并针对训练流程的每个阶段推荐相应的实用工具随后笔者将挑选其中具有代表性的工具进行详细讲解与实战演示。
工具篇之后将进入实战篇笔者会带领大家运用所学工具完整走通从数据准备、模型训练到最终部署上线的全流程。
可以说工具篇是承上启下的关键环节希望大家认真学习为后续实战打下坚实基础。
本期内容笔者会帮助大家建立对大模型训练全流程的结构化认知同时为每个环节提供可操作的工具推荐。
大家可以借助推荐工具动手实践逐步构建属于自己的大模型训练工作流。
需要注意的是大模型训练对计算资源尤其是GPU显存有较高要求。
为降低学习与实践门槛笔者已与国内主流云平台合作为大家争取到了H100 GPU
5小时的免费算力体验机会。
只需点击链接 Lab4AI 即可领取。
本系列所有实战环节均将基于该平台完成助力大家以更低成本上手大模型训练。
大模型训练全流程概述大模型训练的整体流程通常可分为三大核心阶段数据阶段、训练阶段与评测阶段。
每个阶段又可进一步细分为若干关键步骤。
数据工程主要包括文本采集、文本过滤、文本清洗与去重及数据集构建等步骤。
训练工程若从零开始设计模型通常需经历选择基础架构、确定模型规模、设计模型结构与功能随后进行预训练、监督微调SFT及强化学习对齐RLHF等步骤。
然而完全从头训练需消耗海量数据与巨额算力例如数十亿条数据与数十台服务器并行这对中小团队或个人开发者而言往往难以承担。
因此更常见的做法是在已有的预训练模型基础上进行增量预训练、微调和强化学习步骤本系列内容笔者首先会分享基于Qwen3等开源大模型的训练在最后扩展篇也会带大家使用Pytorch从0到1手写模型并完成训练部署。
评测工程模型训练完成后必须经过系统评估主要包括自动基准测试评估与人工深入评估两部分。
了解整体流程后大家可能仍对每个子环节的具体作用以及应选用哪些工具进行处理感到困惑。
别担心接下来笔者将逐一详解各环节并推荐相应的常用工具。
数据工程阶段详解数据工程阶段的核心任务是将原始数据转化、处理为可用于大模型训练的高质量数据集。
大模型本质上可以视作一个庞大的“知识库”其能力直接源自于训练数据中所蕴含信息的广度与质量。
尤其对于大语言模型LLM而言如何获取并有效处理高价值的文本语料是整个训练流程中最为关键的基石。
该阶段主要包含以下四个核心环节。
1 文本采集文本采集旨在从各类来源收集原始文本材料为后续处理提供基础原料。
数据来源分类需自行采集与处理的数据源包括网页数据、书籍、学术论文、百科全书、社交媒体文本等。
已公开的成熟数据集例如由专业机构发布的Common CrawlPB级网络爬虫数据仓库等大规模语料库。
大模型知识蒸馏通过构造覆盖特定知识领域的问题集从现有大模型如 GPT-
Claude 等的回复中提取知识生成训练数据。
相关原理可参考《大模型指南——蒸馏、量化、微调》。
商业数据采购直接向专业数据公司购买经过清洗和标注的高质量数据集。
相关处理与工具推荐自行采集数据可使用专业爬虫工具如八爪鱼、亮数据或自行编写脚本推荐使用 Python 的Scrapy等框架。
若目标为训练通用大模型建议参考百度百科或学科门类我国共13类哲、经、法、教、文、史、理、工、农、医、军、管、艺进行针对性爬取以保证数据多样性及质量。
若爬取得到的数据源为图片或扫描件需通过 OCR 技术推荐MinerU工具、DeepSeek-OCR模型转为文本更多OCR工具可参考笔者文章OCR技术简史: 从深度学习到大模型最强OCR大模型花落谁家。
使用公开数据集Hugging Face、ModelScope 等平台汇聚了大量开源数据集。
例如下图展示了智源研究院在 ModelScope 上开源的IndustryCorpus2分类预训练数据集可直接下载使用。
大模型知识蒸馏核心是编写 Python 脚本调用大模型 API 进行问答生成。
工具方面EasyDataset 提供了便捷的界面可指定主题如“中国历史”后自动构造问题并从大模型中蒸馏数据。
2 文本过滤采集到的原始数据尤其是网络爬虫数据通常质量参差不齐必须过滤掉低价值或有害内容以保证训练数据的纯净度。
处理流程此步骤旨在识别并剔除广告、仇恨言论、大量无意义重复文本等低质量内容。
公开数据集与蒸馏数据通常质量较高可适度简化此步骤。
相关处理与工具推荐文本过滤通常需自行编写处理脚本主要有以下三类方法模型过滤调用大模型 API如本地部署的模型利用其强大的理解能力判断文本质量。
优点准确性高缺点处理速度慢成本较高。
统计指标过滤编写 Python 脚本计算文本的 n-gram、词汇多样性等统计特征并训练轻量级分类模型如基于 TF-IDF 的模型进行自动过滤。
规则过滤基于专家经验编写正则表达式或关键词列表快速匹配并过滤垃圾短语、特定违规内容等。
3 文本清洗与去重过滤后的文本需进一步规范化并去除冗余信息以确保数据的一致性和高效性。
处理流程清洗检测并处理剩余的无效片段非有害但无信息量的文本、统一文本编码格式如统一转为 UTF-
处理特殊字符与乱码。
多语言对齐若需训练跨语言模型需进行平行语料如中-英句子对的对齐工作。
去重在文档级、段落级或句子级识别并去除重复内容避免模型过度拟合相同信息。
相关处理与工具推荐编码规范化使用 Python 的codecs或chardet库进行自动检测与转换。
无效片段检测可继续使用大模型或轻量级文本分类模型进行判断。
平行语料对齐可使用专业工具如 Tmxmall 在线对齐工具 或 SISU Aligner
2.
0。
也可编写脚本调用机器翻译 API 进行粗对齐后人工校验。
去重可使用高效的算法如 MinHash编写脚本自行实现或直接使用 Hugging Face 的SemHash开源工具去重。
4 数据集构建此环节将清洗后的高质量原始文本转换为大模型训练可直接使用的标准化数据格式。
处理流程与数据格式预训练数据集格式通常为连续的纯文本块json或jsonl格式每个对象包含一个text字段。
关键在于文本块的切分策略需尽量保证知识单元的完整性如按段落、章节切分。
可借鉴 RAG检索增强生成中知识库的文档切分算法。
监督微调SFT数据集格式为对话或指令-回答对多轮对话。
若需训练模型具备思维链Chain-of-Thought能力数据中需包含推理过程常置于think.../think标签内并将其和输出合并置于ouput字段。
偏好对齐数据集用于训练PPO算法中的关键奖励模型RM或进行 DPO/ORPO 训练。
每条数据包含一个指令或问题以及一个被选中的chosen优质回答和一个被拒绝的rejected劣质回答。
相关处理与工具推荐预训练数据切分编写python脚本处理可借鉴 RAGFlow、Dify 等工具中的智能分块算法或自行实现固定长度、文档结构、章节感知等分块算法。
监督微调数据生成可使用EasyDataset等工具辅助生成或编写脚本调用大模型 API 批量合成。
偏好对齐数据生成通常选取大量的评测集对初步训练的模型进行测试选取表现较差的问答对将问题预期的结果作为chosen, 实际生成的较差的回答作为rejected。
5 工具调用与最佳实践数据质量是决定大模型性能上限的关键因素。
在实际工作中数据工程往往占据整个训练流程80%以上的精力。
对于领域适配或指令微调推荐组合使用以下工具使用RAGFlow等知识库的智能文本分割算法处理长文档。
使用EasyDataset高效构建指令微调、思维链或知识蒸馏数据集。
对于追求极致性能的精细优化通常需要深入代码层面进行数据合成增强、难度分级、负样本挖掘等更复杂的操作。
相关高阶技巧与代码实践将在本系列的扩展篇中详细展开。
训练工程阶段详解与数据工程相比训练工程阶段的工具链和标准化流程更为成熟。
整个训练过程通常划分为三个核心且环环相扣的阶段预训练、监督微调SFT和强化学习对齐如RLHF。
关于这三阶段的作用笔者在 大模型训练全流程实战指南一——为什么要学习大模型训练也基本提及过笔者将其形象地比喻为“培养一位超级学霸”的过程先海量阅读构建知识体系再接受专业指导掌握方法最后通过实践反馈优化言行。
1 预训练阶段预训练的核心目标是将经过处理的海量文本数据中的语言规律和世界知识“压缩”存储到大模型的参数中。
在 大模型训练全流程实战指南基础篇二——大模型文件结构解读与原理解析中笔者提过大模型预测的本质是学习语言的概率分布模型通过数十亿乃至数万亿的token学会根据给定的上文预测下一个最可能的词从而掌握语法、事实和基础推理能力。
这相当于让模型“读完整个图书馆的书”建立起对世界的通用认知框架。
对于希望获得领域专家的模型如法律、医疗直接从头预训练成本过高。
更可行的路径是增量预训练Continued Pre-training在一个通用基座模型如LLaMA、Qwen基础上使用领域专有数据如法律条文、医学文献继续训练。
这能显著提升模型在特定领域的知识深度但需注意可能伴随的灾难性遗忘问题——即模型在新领域变强的同时可能损失部分原有通用能力。
2 微调阶段预训练模型虽“学识渊博”却不懂如何与人类交流。
例如当被问及“长江”时它可能仅基于统计关联回答“黄河”而非给出有用信息。
监督微调SFT正是为了解决“如何与人对话”的问题。
此阶段使用高质量的指令-回答对数据集以有监督的方式训练模型目标是理解意图学会解析各式各样的人类指令如“写诗”、“
总结文章”。
安全合规遵循伦理准则避免生成有害、偏见或虚构内容。
格式化输出能够按要求组织答案如使用列表、分点论述。
这个过程好比让那位“学霸”进入实习期由导师高质量数据手把手地教导其沟通礼仪、回答技巧与行为边界。
在实际应用中许多垂直领域模型会直接对通用基座模型进行SFT以快速“激活”其在该领域的潜在能力而跳过增量预训练阶段。
3 强化学习阶段掌握了知识与方法后还需要通过反馈机制来优化行为使其更符合人类的主观偏好和价值判断。
这便是强化学习对齐阶段的任务。
以主流的 基于人类反馈的强化学习RLHF为例该阶段通常分为两步训练奖励模型RM使用 偏好数据集包含人类标注员选择的“好回答”与“差回答”训练一个独立的模型作为“裁判”学习评判回答质量的高低。
优化策略模型利用PPO等强化学习算法让待优化的大模型策略模型生成回答并由奖励模型打分。
模型通过不断试错学习生成能获得更高奖励即更符合人类偏好的回答。
这如同为“实习生”配备了一位严格的实战教练通过持续的练习与即时反馈不断打磨其表现直至其产出结果既专业又令人满意。
4 工具调用与最佳实践在工程实现上模型训练主要分为两种路径对应不同的开发深度与效率需求
底层研发式训练适用于需要全新架构探索或深度定制的研究团队通常是从0开发大模型的团队核心框架直接使用PyTorch与Transformers库从零构建训练流程。
分布式与优化大模型训练必须依赖分布式技术。
典型组合是Ray分布式计算框架 DeepSpeed深度学习优化库支持ZeRO、卸载等技术来实现多机多卡高效训练。
高效微调与一体化训练推荐对于绝大多数基于现有模型进行适配的专用模型训练场景使用高层框架可以极大提升效率。
单卡高效微调Unsloth是当前的性能标杆专注于极致优化LoRA等参数高效微调技术。
一体化训练框架LLaMA Factory提供Web UI和命令行无需编码即可完成预训练、全参数/高效微调、强化学习等全流程。
本系列后续实战将基于此框架进行。
MS-SWIFT由阿里团队开源深度优化对Qwen系列模型的训练支持同样提供易用的配置化训练。
强化学习专用库VeRL字节跳动开源的通用强化学习库。
Easy-R1与LLaMA Factory同团队开发基于VeRL专门为大模型及多模态的强化学习对齐设计。
最佳实践建议对于希望快速上手的开发者推荐使用LLaMA Factory完成从数据准备到模型微调的全流程。
本系列合作的实训平台 Lab4AI 已提供预置环境可一键开启实践。
对于有定制化强化学习需求的场景可在VeRL或Easy-R1的基础上进行二次开发。
评测工程阶段详解模型训练完成并非终点科学、系统的评估是衡量模型能力、发现潜在缺陷并指导后续迭代的关键环节。
评测工程的目标是全面回答一个问题“训练的模型效果究竟如何”通常从两个层次分析模型的实际效果自动化的基准测试与深入的人工评估这就好像一个学生既要参加标准化的期末考试也需要老师在期末的时候写评语。
1 自动化基准测试自动评估通过一系列精心设计的标准化测试集和量化指标对模型的各项能力进行快速、可重复的客观衡量。
自动化评测常用数据集知识与推理使用如MMLU大规模多任务语言理解、C-Eval中文知识评估、GSM8K数学推理等基准评估模型在专业领域、常识和逻辑推理方面的能力。
代码能力使用HumanEval、MBPP等数据集评估模型生成可执行、符合要求的代码的能力。
中文综合能力针对中文模型常用CMMLU、Gaokao-Bench高考题库等评估其本土化理解与知识应用水平。
对齐与安全性使用SafeBench、CValues等数据集评估模型输出是否安全、无害、符合价值观。
以上测试集中既包含MMLU、C-Eval等一些专项知识的选择题又包含GSM8K含标准答案的模型推理题以及Gaokao-Bench等主观求解题全面评测模型的全部能力。
关键指标准确率Accuracy最直观的指标适用于选择题、判断题等封闭式任务。
NLP指标文本类指标评测评判生成回答与预期结果之间的语言相关程度包括召回率Rouge、精确度Precision、F1分数、BLEU指标(这些指标具体含义笔者在介绍评测工具使用时会详细讲解)。
基于大模型打分的评估LLM-as-a-Judge利用DeepSeek等强大模型作为“裁判”编写提示词评估生成答案在相关性、有用性、安全性等方面的质量也是评估开放性任务的主流方法。
2 人工深入评估自动化测试虽高效但难以完全捕捉模型在复杂、开放场景下的真实表现和细微缺陷。
人工深入评估不可或缺它侧重于指令遵循度模型是否精确理解了复杂、多层次的指令输出逻辑与连贯性答案是否条理清晰、逻辑自洽事实准确性生成的内容是否存在“幻觉”编造事实安全与伦理边界在边缘案例中模型的应对是否妥当此阶段通常由领域专家或标注团队通过设计多样化的真实用户场景如客服对话、创意写作、分析报告进行系统性测试和主观评分。
3 工具调用与最佳实践目前主流的开源评测工具已经极大地提升了评估效率。
OpenCompass由上海人工智能实验室推出是国内最全面的开源评测体系。
它集成了海量的主流评测数据集支持一键发起对多个模型在数百个能力维度上的自动化评测并生成详细的排行榜和可视化报告是进行基准测试的“瑞士军刀”。
EvalScope由阿里团队推出一个面向生产场景的、可扩展的评测平台。
它的核心优势在于“集成”与“工作流”。
它不仅能将 OpenCompass 作为其一个强大的评测后端引擎来调用还可以灵活集成企业内部的私有评测集、人工评估流程以及自定义的评估脚本。
它提供了统一的评估任务管理、结果分析和对比界面旨在将分散的评估工作标准化、流程化。
综合来看虽然 OpenCompass 在基准评测的广度上排名No.1但对于追求从研发到上线全链路质量管控的团队而言更推荐将EvalScope作为评测阶段的工具EvalScope不仅可以快速集成OpenCompass后台还具备模型服务压力测试等额外功能适合全面的分析评测。
五、
总结本篇内容系统分享了大模型训练三大核心阶段数据工程、训练工程、评测工程的全流程为每个环节推荐了如EasyDataset、LLaMA Factory、EvalScope等关键实用工具旨在帮助读者构建清晰的训练路径。
从下期内容开始笔者将分享这些工具的详细使用指南首先分享OCR工具的相关知识看看我们是如何把大家爬取的文档识别为统一的markdown格式大家敬请期待大模型训练对计算资源有一定要求尤其是GPU显存。
为降低学习门槛笔者与国内主流云平台合作大家可以通过打开链接: Lab4AI 体验H100 GPU
5小时的算力。
本系列所有实战教程均将在该平台上完成帮助大家低成本上手实践。
除大模型训练外笔者也在同步更新《深入浅出LangChainLangGraph AI Agent 智能体开发》免费专栏要说明该专栏适合所有对 LangChain 感兴趣的学习者无论之前是否接触过 LangChain。
该专栏基于笔者在实际项目中的深度使用经验系统讲解了使用LangChain/LangGraph如何开发智能体目前已更新 37 讲并持续补充实战与拓展内容。
欢迎感兴趣的同学关注笔者的CSDN账号与专栏也可关注笔者的同名微信公众号大模型真好玩每期分享涉及的代码均可在公众号私信:LangChain智能体开发免费获取。