核心内容摘要
RexUniNLU新手必学：3步完成合同违约责任条款识别
本文解析了大模型部署中的并行计算架构包括模型并行按层或张量拆分、流水线并行和数据并行以及三者结合的混合并行策略。
这些技术解决了大模型显存不足和计算效率问题使AI产品经理能从只会用模型上升到能规划模型系统的层次做出更专业的算力与产品决策。
最近花了点时间研究了一下大模型的部署问题。
话不多说我们开始。
引言大模型为什么叫“大”模型大模型是大语言模型的简称。
大模型之所以为“大”就是参数量巨大、模型物理存储规模大、训练推理所需计算资源庞大等几方面的原因。
我们先对前两者比较直观的因素进行分析。
首先可以明确的是参数量巨大是直接导致模型物理存储规模大的根本原因我们以部分大模型为例看看它们的参数量和物理存储空间具体有多大我们通过一个简单的公式来大概计算一下内存占用 参数量 × 每参数字节数 ÷ 单位换算系数精度类型FP32(4字节)、FP16(2字节)、INT8(1字节)、INT4(
5字节)单位换算1GB1024字节。
示例7B参数模型FP16精度的存储需14GB7×10⁹×2÷1024³大模型参数量精度估算存储空间GPT-3175BFP16/FP32350GB~700GBLlama-
1405BFP16810GBDeepSeek-V
1685BUE8M0 FP8700GB以DeepSeek-V
1为例可以预览一下其参数文件的大小共163个分片每个约
3GB共约700GB与上面的估算接近我在一篇公众号文章中说过大模型训练和推理时都需要将模型参数放入显存中那问题来了这么大的参数GPU的显存能放得下吗而且除了模型参数还要考虑额外内存开销如推理中的KV Cache、激活值缓存实际使用时需增加20%-40%显存空间。
那么我们再来看下给GPU配备的显卡是什么情况。
NVIDIA英伟达数据中心级显卡的显存容量H10080GB / 141GBA10040GB / 80GBH800特供中国80GBH20 特供中国64GB显然一块显卡是根本无法运行像DeepSeek-V
1这种如此大参数量的模型的。
如何解决大模型运行空间大的问题可能有同学已经想到了一张显卡放不下是不是可以用多张没错这就是“多卡”部署用多张显卡共同来运行一个大模型。
那具体怎么做呢假如有两张显卡其实就是把大模型其中的一部分运算拆分到GPU0中处理而另一部分拆分到GPU1中处理。
也就是把所需要的参数和运算一并拆分到多个GPU中分别处理然后再拼合。
这个拆分可以按层拆分也可以按张量拆分。
注张量Tensor是多维数组的一种通用表示是PyTorch中存储和操作数据的基本结构。
零维张量 5 称为标量一维张量[1,2,3]称为向量二维张量[[1,2],[3,4]]称为矩阵更高维张量则直接按维度命名如三维张量。
这样一种解决方案我们叫它为“模型并行”Model Parallelism, MP。
为什么模型参数可以这么灵活拆分一个模型文件其实就是一堆命名好的“张量字典”。
它之所以能按层或按矩阵维度拆分是因为每个张量都有独立的名称、形状与内存布局框架PyTorch可以基于这些元数据在加载时精确切片和分配从而实现分布式加载与并行计算。
换句话说模型参数文件的结构设计 不是偶然的命名习惯而是 为了支持张量并行、层级并行和分片存储而有意识设计成这样的。
以 PyTorch 的 safetensors 或 bin 文件为例一个大模型的参数文件其实可以理解为一个 键值对dictionary-like结构{ transformer.layers.
attention.q_proj.weight: Tensor(shape[4096, 4096]), transformer.layers.
attention.k_proj.weight: Tensor(shape[4096, 4096]), transformer.layers.
attention.v_proj.weight: Tensor(shape[4096, 4096]), transformer.layers.
mlp.down_proj.weight: Tensor(shape[11008, 4096]), ... } key参数名即网络中各层权重的路径value一个多维数组Tensor存储具体的参数数值如 float
bfloat16上图是DeepSeek-V
1的部分参数信息截图这些 key 的命名严格遵守模型的架构定义比如 Transformer 层的层号、权重类型等。
这使得模型文件既逻辑清晰又易于拆分因为你可以根据名字或形状把一部分权重映射到某张 GPU 上。
继续解决其它问题前面通过多卡部署方式解决了显存不足的问题已经能让大模型跑起来了。
但仍然不足于支撑大模型的训练或推理因为同一时间只能处理一个任务这实在太慢了。
所以为了提高效率又作了进一步改进引入了流水线并行 (Pipeline Parallel)方式。
流水线并行 层级并行 流水化调度micro-batching层级并行就是模型并行中按层拆分的一种方式。
其核心优化思路是不让后面的 GPU 等待前面的完全算完而是分批输入、交错执行。
形成类似生产线的“流水作业”。
流水线并行充分利用 GPU 资源既解决了模型太大的问题同时又通过并行计算提高了吞吐量。
但在工程实践中仅靠流水线并行并不能完全解决吞吐量不足的问题。
那怎么办我们仍然可以继续增加GPU叠加数据并行Data Parallel策略来提升吞吐量让多个批次并行计算。
这也体现出了大模型“训练推理所需计算资源庞大”这一显著特征。
简单来说就是假如前面把模型拆分到4张GPU上解决了显存问题那我们可以再加多4张GPU也就是有了两组GPU每一组运行一个大模型副本服务一个批次的输入。
最终我们就可以同时进行2个批次数据的并行计算任务了吞吐量直接翻倍。
在实际的大模型训练或推理中数据并行是以多节点的方式来部署的也就是“多组”GPU分布在不同的服务器节点中以多节点的形式实现数据并行的方案。
四、
总结在大模型的训练或推理中通常采用多层次的混合并行Hybrid Parallelism架构单节点内部 先进行张量并行以分解层内矩阵计算 再进行流水线并行以分层分配模型并交错执行提升计算效率 二者结合解决“单卡显存不足”与“GPU空闲浪费”问题。
多节点之间 采用数据并行复制模型实例、并行处理不同批次样本以提升吞吐量和训练/推理并发能力。
这种「TP PP DP」的混合策略是当下大模型系统如 GPT-
DeepSeek-V
LLaMA、Megatron-LM的标准设计架构。
目标并行策略硬件层面主要作用层太深显存放不下层级/流水线并行 (PP)单节点多卡分段放模型层内矩阵太大显存放不下张量并行 (TP)单节点多卡拆分矩阵乘法要提升设备利用率流水线并行 (PP)单节点多卡并行计算微批次要提升吞吐量数据并行 (DP)多节点扩展批次并行超大规模服务如GPT-4级混合并行DPTPPP多节点多卡拆分模型、高吞吐量注根据NVIDIA的估算完整训练GPT-31750亿参数需要1024张A100显卡1个月完成。
写在最后如果以上内容还有不理解的地方请大家自行向DeepSeek、ChatGPT求教。
自学能力很重要喔。
通过以上内容我们可以掌握 模型并行、参数结构、文件切分逻辑 等知识点能让作为AI产品经理的我们从“只会用模型”上升到“能规划模型运行系统”的层次。
理解大模型的参数结构与并行机制对AI产品经理的价值不是让你会写代码而是让你能做“算力与产品目标的系统性决策”。
一个典型的场景问题客户预算有限只能提供 4 张 80GB GPU希望部署 70B 模型。
如果你懂“模型并行”你会知道单卡肯定放不下你可以建议“层级 张量并行”方案你知道模型权重文件是可分片加载的因此也能解释为什么可以用多机合并加载模型你能预判通信开销问题建议客户选 NVLink 或 InfiniBand。
产品层面的洞察你能把“算力需求”转化为“成本预估”或“部署建议”你能从技术限制中推导产品方案而不是被动等待工程答复。
退一步讲即便做不到自己提出部署建议至少你也能基本看懂别人制订的部署方案和向客户进行解释说明这也总比只会做Agent设计的产品经理要更具专业性。
你觉得呢AI大模型从0到精通全套学习大礼包我在一线互联网企业工作十余年里指导过不少同行后辈。
帮助很多人得到了学习和成长。
只要你是真心想学AI大模型我这份资料就可以无偿共享给你学习。
大模型行业确实也需要更多的有志之士加入进来我也真心希望帮助大家学好这门技术如果日后有什么学习上的问题欢迎找我交流有技术上面的问题我是很愿意去帮助大家的如果你也想通过学大模型技术去帮助就业和转行可以扫描下方链接大模型重磅福利入门进阶全套104G学习资源包免费分享
从入门到精通的全套视频教程包含提示词工程、RAG、Agent等技术点
AI大模型学习路线图还有视频解说全过程AI大模型学习路线
学习电子书籍和技术文档市面上的大模型书籍确实太多了这些是我精选出来的
大模型面试题目详解
这些资料真的有用吗?这份资料由我和鲁为民博士共同整理鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利同时还斩获了吴文俊人工智能科学技术奖。
目前我正在和鲁博士共同进行人工智能的研究。
所有的视频由智泊AI老师录制且资料与智泊AI共享相互补充。
这份学习大礼包应该算是现在最全面的大模型学习资料了。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。
智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念通过动态追踪大模型开发、数据标注伦理等前沿技术趋势构建起前沿课程智能实训精准就业的高效培养体系。
课堂上不光教理论还带着学员做了十多个真实项目。
学员要亲自上手搞数据清洗、模型调优这些硬核操作把课本知识变成真本事如果说你是以下人群中的其中一类都可以来智泊AI学习人工智能找到高薪工作一次小小的“投资”换来的是终身受益应届毕业生无工作经验但想要系统学习AI大模型技术期待通过实战项目掌握核心技术。
零基础转型非技术背景但关注AI应用场景计划通过低代码工具实现“AI行业”跨界。
业务赋能 突破瓶颈传统开发者Java/前端等学习Transformer架构与LangChain框架向AI全栈工程师转型。
获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】