核心内容摘要
畅享云端，共绘精彩——“一起草www.17.com”：你的数字生活新篇章
编者按十年深耕十篇精粹。
数据已成为核心生产要素《大数据》见证技术突破与政策赋能的双向奔赴。
本次甄选十篇文章涵盖高被引理论成果、政策落地研究与社会前沿热点既是学科发展的缩影更是产业实践的指南。
即日起逐篇推送邀您回溯十年积淀共探数据要素市场化、数智融合的未来新篇敬请关注。
分布式技术在大模型训练和推理中的应用摘 要 近几年人工智能被广泛应用于多个领域大语言模型以下简称大模型的“预训练-微调”成为人工智能的最新范式。
分布式技术存在于大模型生命周期的每一环为大模型的发展助力。
在数据获取环节针对海量小文件的存储问题研发了文件系统SuperFS能够同时满足低延迟和可扩展的要求。
在数据预处理环节针对从分布式文件系统读取数据开销大的问题研发了高效大数据处理引擎“诸葛弩”。
在模型训练环节针对检查点文件读写性能差的问题提出了分布式检查点策略加快了检查点文件的读写速度。
在模型推理环节针对KVCache对存储系统的挑战研发了高吞吐推理方案FastDecode以及大模型推理架构Mooncake。
分布式技术的应用使大模型能够充分利用计算资源加快训练速度有利于人工智能领域的发展。
关键词 分布式技术; 大模型; 海量小文件; 大数据处理引擎; 检查点; KVCache引用格式郑纬民. 分布式技术在大模型训练和推理中的应用[J]. 大数据, 2024, 10(
: 1-
Zheng W M. Application of distributed techniques in large language model training and inference[J]. Big Data Research, 2024, 10(
: 1-
1
0引言近几年人工智能在多个领域应用广泛已进入大模型时代其中“预训练-微调”成为新范式。
大模型支持众多领域任务如GPT-3。
分布式技术在大模型的四个环节数据获取、预处理、训练、推理中都发挥重要作用。
数据获取需存储海量小文件预处理需处理海量数据训练需解决大模型检查点文件读写问题推理需加载庞大模型参数和保存中间结果。
1数据获取大模型训练中海量小文件的存储面临挑战特别是元数据管理问题。
多模态数据集包含数亿至数百亿个小文件导致元数据管理困难存储100亿小文件需管理7TB元数据。
现有分布式文件系统在处理海量小文件时存在可扩展性和低延迟难以兼顾的问题。
为解决这些问题清华大学研发了高性能文件系统SuperFS采用解耦合目录树存储策略实现了低延迟和可扩展性。
SuperFS在文件操作延迟方面远低于现有文件系统其元数据性能通过低开销索引、NUMA感知数据组织等技术得到大幅提升刷新了世界纪录。
2数据预处理海量数据预处理是大模型训练的关键步骤直接影响模型效果。
数据预处理包括随机采样、解码和变换等通常占用大量训练时间。
传统以计算为中心的方法导致网络开销大而以数据为中心的方法通过将计算任务调度到数据所在节点减少数据读取开销。
清华大学研发的“诸葛弩”引擎采用以数据为中心的执行模式使用C编写减少内存需求兼容PySpark接口并采用编译优化技术降低开销。
在模糊删冗应用中诸葛弩的性能显著优于PySpark展现出在大模型数据预处理中的潜力。
3模型训练大模型训练中的检查点文件读写是另一大挑战特别是在硬件出错概率高的情况下如何高效保存和恢复模型参数和中间结果。
以神威平台为例分析了万亿参数量模型检查点文件读写的性能问题指出存储系统架构和网络利用效率是影响性能的核心因素。
对此提出了分布式检查点策略通过数据均匀分布、增加I/O进程数和均匀划分I/O请求显著提高了检查点读写性能将10万亿参数量模型的检查点读写时间从3小时缩短到10分钟。
4模型推理在模型推理过程中KVCache的存储挑战显著其数据量可达数百TB至PB级别远超模型参数。
FastDecode是一种高吞吐推理方案通过WA分离推理方案在计算加速卡和CPU上交替计算提高计算效率并减轻显存压力。
FastDecode利用闲置CPU和主存处理KVCache显著提升batch size和GPU利用率降低成本。
Mooncake是以KVCache为中心的大模型推理架构通过以存换算提升吞吐量并采用超大规模分离式内存池为中心的KVCache缓存和调度。
Mooncake利用GPU集群中闲置的内存容量和互联带宽节省成本的同时降低响应延迟。
在真实负载模拟实验中Mooncake相较于vLLM可多处理75%的请求。
作者简介郑纬民中国工程院院士清华大学计算机科学与技术系教授中国计算机学会第十届理事长数博会专家咨询委员会委员何梁何利科学与技术进步奖获得者中国存储终身成就奖获得者享受国务院政府特殊津贴《大数据》主编。
获北京市优秀教师奖和北京市教学名师称号获国家科技进步奖一等奖1项、二等奖2项国家技术发明奖二等奖1项2016年获ACM戈登·贝尔奖。
2019年当选中国工程院院士。
主要研究方向为网络存储系统长期从事网络存储系统科学研究、工程建设和人才培养在存储系统扩展性、可靠性和集约性等科学问题和工程技术方面取得了国内外同行认可的创新性成果研制的网络存储系统、容灾系统和自维护存储系统在多个重大工程中发挥了重要作用。
教学方面长期讲授计算机系统结构课程2008年被评为国家级精品课程已编写和出版计算机系统结构教材和专著10本与合作者一起发表论文530余篇。
戳“阅读原文”了解更多相关阅读十年十篇 • 数启新程《大数据技术前瞻》十年十篇 • 数启新程《基于多模态大模型的具身智能体研究进展与展望》十年十篇 • 数启新程《大数据与计算模型》联系我们:Tel:
E-mail:bdrbjxintong.com.cnhttp://www.j-bigdataresearch.com.cn/转载、合作
大数据期刊《大数据Big Data ResearchBDR》双月刊是由中华人民共和国工业和信息化部主管人民邮电出版社主办中国计算机学会大数据专家委员会学术指导北京信通传媒有限责任公司出版的期刊已成功入选中国科技核心期刊、中国计算机学会会刊、中国计算机学会推荐中文科技期刊以及信息通信领域高质量科技期刊分级目录、计算领域高质量科技期刊分级目录并多次被评为国家哲学社会科学文献中心学术期刊数据库“综合性人文社会科学”学科最受欢迎期刊。
关注《大数据》期刊微信公众号