核心内容摘要
Flowise部署指南：Docker一键部署AI工作流平台全步骤
在科学计算和工程模拟领域如何高效、精确地预测复杂物理系统的演化一直是学术界和工业界的核心难题。
传统数值方法虽然在理论上能够求解大部分物理方程但在处理高维、多物理场景或非均匀边界条件时计算成本极高且缺乏对大规模多任务的适应性。
与此同时深度学习在自然语言处理和计算机视觉领域的突破引发了研究者们探索「基础模型」在物理模拟中的应用可能性。
然而物理系统往往跨越多个时间尺度和空间尺度演化而多数学习模型通常仅在短期动力学上进行训练一旦被用于长时间尺度预测误差便会在复杂系统中不断累积导致模型不稳定。
此外不同尺度和系统异质性还意味着下游任务对建模分辨率、维度以及物理场类型的需求各不相同这对偏好固定输入形式的现代训练架构构成了巨大挑战。
因此迄今为止用于仿真的基础模型大多仍局限于相对同质的数据场景例如仅处理二维问题而非更符合现实的三维情形。
在此背景下来自 Polymathic AI 协作组的研究团队引入了一系列新方法来应对上述挑战包括Patch jittering补丁抖动、面向 2D–3D 场景的负载均衡分布式训练策略以及自适应计算标记化Adaptive-compute Tokenization机制等。
以此为基础研究团队提出了一个拥有 13 亿参数、以 Transformer 为核心架构、主要面向类流体连续介质动力学的基础模型 Walrus。
Walrus 在预训练阶段覆盖了 19 种高度多样化的物理场景涵盖天体物理、地球科学、流变学、等离子体物理、声学以及经典流体力学等多个领域。
实验结果表明无论在下游任务的短期预测还是长期预测中Walrus 均优于此前的基础模型并且在整个预训练数据分布范围内都展现出更强的泛化性能。
相关研究成果以「Walrus: A Cross-Domain Foundation Model for Continuum Dynamics」为题已发布预印版于 arXiv。
研究亮点* Walrus 的模型参数规模达
3B拥有创新的稳定化技术以及根据问题复杂度自适应计算的能力* 解决了当前连续介质动力学基础模型的若干局限性例如成本自适应、稳定性以及在原生分辨率下对高度异构训练数据的高效训练* Walrus 是迄今为止最精确的连续介质仿真基础模型在来自多个科学领域的 26 个独特连续介质模拟任务的多个时间尺度上共跟踪的 65 个指标中有 56 个取得最佳结果。
论文地址https://arxiv.org/abs/
2
15684关注公众号后台回复「介质仿真」获取完整 PDF更多 AI 前沿论文https://hyper.ai/papers构建异构、多维的高质量数据集Walrus 的成功离不开多样性和高质量的数据。
研究团队采用了来自 Well 和 FlowBench 的混合数据集进行预训练。
Well 数据集提供了大量高分辨率、来源于真实科学问题的数据而 FlowBench 则在标准流体场景中引入几何复杂障碍物为模型提供复杂流动模式的学习机会。
研究团队总计使用了 19 个数据集覆盖 63 个状态变量包含不同方程、边界条件和物理参数化设置。
数据维度涵盖二维与三维确保模型在不同空间维度下的泛化能力。
为了验证模型迁移能力研究团队在预训练完成后使用了部分保留数据集包括 Well、FlowBench、PDEBench、PDEArena 和 PDEGym 的数据进行微调。
数据切分遵循标准分割策略或按轨迹划分为训练/验证/测试的 80/10/10 比例。
在训练设置上Walrus 模型进行了约 40 万步预训练每个二维数据集约 400 万样本三维数据集约 200 万样本使用 AdamW 优化器和学习率调度策略实现对高维、多任务数据的高效学习。
评价指标主要采用 VRMSE标准化均方根误差进行比较可跨数据集、跨任务进行统一评价。
这种高度多样化的训练数据和策略使 Walrus 能够在预训练阶段捕获丰富的物理特性并为下游任务的跨领域泛化奠定基础。
基于时空因式分解 Transformer 架构Walrus 模型采用时空因式分解 Transformer 架构space-time factorized transformer在处理时空张量结构数据时分别沿空间和时间维度执行注意力操作实现高效建模流程如下图所示Walrus 流程图* 空间处理使用 Wang 提出的并行化注意力并结合轴向 RoPEAxial RoPE进行位置编码。
* 时间轴处理使用因果注意力结合 T5 风格的相对位置编。
在空间和时间模块中均采用 QK 归一化QK normalization以提升训练稳定性。
* 计算自适应压缩Compute-Adaptive Compression在编码器和解码器模块中使用卷积步幅调制Convolutional Stride Modulation, CSM来原生处理不同分辨率的数据通过调整每个编码/解码块中的下采样/上采样水平实现灵活的分辨率处理。
此前用于仿真的基础模型多采用固定压缩编码器对下游任务中变化的分辨率需求不够灵活。
CSM 允许研究人员调整卷积步幅进行下采样从而选择与任务匹配的空间压缩水平。
* 共享编码器-解码器Shared Encoder-Decoder所有同维度物理系统共享单一编码器与解码器从而学习通用特征。
二维与三维数据分别对应两个编码器和解码器使用轻量级分层 MLPhMLP进行编码和解码。
* RMS GroupNorm 和非对称输入输出归一化在每个 Transformer 块内使用 RMSGroupNorm 进行标准化提高训练稳定性。
输入与输出使用非对称归一化asymmetric normalization处理增量预测保证不同场景的数值稳定性。
* Patch Jittering通过对输入数据进行随机平移并在输出端反向处理减少高频伪影积累显著提升长期预测稳定性尤其在 ViT 风格架构中效果明显。
* 高效多任务训练采用层次化采样和归一化损失函数确保快速变化场的预测不会被慢速变化场主导同时结合微批量和自适应 token 化策略解决高维异构数据训练中的负载不均问题。
* 二维与三维统一表示通过在二维数据上增加单维并零填充将其嵌入三维空间再通过对称性增强旋转、反射进行多样化扩增实现跨维度训练能力。
总体而言Walrus 架构不仅在空间与时间维度上高效处理张量数据还通过多样化策略和高效分布式训练应对多任务、多物理场景的挑战。
Walrus 在多个二维和三维下游任务中表现出显著优势为了验证 Walrus 作为基础模型的性能以及其在下游任务中的表现研究人员设计了一系列实验①下游任务表现与 MPP-AViT-L、Poseidon-L 和 DPOT-H 等现有基础模型对比Walrus 在单步预测的平均 VRMSE 上降低约
6
6%短期轨迹预测降低
5
2%中期轨迹预测降低
4
3%如下图各基础模型微调后在 2D 下游任务上的损失中位数 VRMSE在非混沌系统中Patch Jittering 带来的低伪影生成使模型长期预测表现稳定在更随机的系统如 BubbleML 的 Pool-BoilSubcool中Walrus 虽然初期领先但由于短期历史信息无法充分反映材料和燃烧器特性长期滚动预测优势有所减弱。
三维任务尤其重要因为大部分实际物理仿真场景为三维系统。
Walrus 在 PNS中子星合并后和 RSG红超巨星对流层数据集上表现优异即便这些数据集生成成本高达数百万核小时如下图可视化微调后的 Walrus 在 3D 前沿科研级别模拟中的预测结果②跨领域能力Walrus 的跨领域能力也得到验证与最优基线相比Walrus 在单步预测上平均损失降低
5
2%。
在对 19 个预训练数据集进行微调后Walrus 在 18/19 个任务上取得最低单步损失并在 20 步和
步的中期滚动预测中分别取得
3
5% 和
3% 的平均优势如下表在不同时间范围内的损失中位数 VRMSE平均值相比之下DPOT 在声学和线性波传播任务中表现接近 WalrusPoseidon 在无粘流任务中表现优异但 Walrus 通过广泛预训练和通用架构在大多数任务上都取得了竞争力甚至更优的结果。
③预训练策略影响消融实验显示Walrus 的多样化预训练策略对下游性能至关重要。
即使在仅使用二维数据的半尺寸模型HalfWalrus上经过全面空间与时间增强的预训练策略在完全未见的新任务上仍明显优于从零训练或简单二维预训练策略的模型。
在三维 CNS 任务上HalfWalrus 即使未见过三维数据也能在极小数据量下取得小幅提升而完整 Walrus 模型通过包含三维数据的预训练取得了明显优势强调了多维度、多样化数据的重要性。
Polymathic AI 加速跨学科人工智能应用的落地在科学计算与工程建模领域基础模型的潜力正在引发新一轮范式转变。
Polymathic AI 是一个值得关注的开源研究项目其核心目标是构建面向科学数据的通用基础模型以加速跨学科人工智能应用的落地。
与面向自然语言或视觉任务的通用大模型不同Polymathic AI 聚焦于连续动力学系统、物理场模拟、工程系统建模等典型科学计算问题。
其核心思想是通过大规模、多物理场、多尺度数据训练统一模型使其具备跨领域迁移能力从而减少每个科学问题从零构建模型的成本——这种「跨领域泛化能力」被视为科学 AI 的关键突破点。
据悉Polymathic AI 汇集了一支由纯机器学习研究人员以及领域科学家组成的团队接受世界领先专家组成的科学咨询小组的指导并由图灵奖得主、Meta 首席科学家 Yann LeCun 担任顾问受到包括剑桥大学 AI天文/物理助理教授 Miles Cranmer 在内的多位学术大咖的支持以期集中精力开发科学数据的基础模型利用跨学科的共享概念解决 AI for Science 行业难题。
2025 年Polymathic AI 合作组成员展示了两款使用真实科学数据集训练的新人工智能模型旨在解决天文学和类流体系统中的问题。
其中一款为前文介绍的 Walrus另一款则是首个面向天文学的大规模多模态基础模型家族 AION-1天文全模态网络AstronomIcal Omni-modal Network。
AION-1 通过统一的早期融合骨干网络将图像、光谱和星表数据等异质观测信息进行集成建模不仅在零样本场景下表现优异其线性探测准确率也可媲美针对特定任务专门训练的模型在广泛的科学任务中表现优异。
即便仅通过简单的前向探测其性能即可达到 SOTA 水平在低数据量场景下更是显著优于有监督基线论文标题AION-1: Omnimodal Foundation Model for Astronomical Sciences论文地址https://arxiv.org/abs/
2
17960总体而言Polymathic AI 代表了「科学 AI 基础模型」这一新兴技术范式的前沿探索其长期意义不仅在于性能提升更在于构建跨学科知识迁移的通用计算底座为「AI for Science」从工具级应用走向基础设施级能力奠定基础。
参考文献
https://arxiv.org/abs/
2511.
https://www.thepaper.cn/newsDetail_forward_
https://polymathic-ai.org
https://arxiv.org/abs/
2510.