核心内容摘要
17.C3èµ·è
何恺明团队最近抛出的这篇工作多少有点“把老问题直接掀桌子重来”的味道。
他们提出的Pixel MeanFlowpMF在不借助潜在空间、不依赖多步采样的前提下只用一次前向传播就生成了质量相当扎实的图像。
在 ImageNet 上256×256 分辨率做到
22 的 FID512×512 也稳在
48。
如果把这些数字和过去几年主流扩散模型的设置放在一起对照很难不意识到这不是一次小幅优化而是一次路线层面的收缩。
论文中在 ImageNet 256×256 与 512×512 的系统级对比结果这些表格基本奠定了 pMF 在“单步生成”赛道上的位置。
生成模型为什么总是又慢又绕把时间拨回到前几年生成模型的主流路线几乎是固定的一步一步采样或者先压进潜在空间再生成。
慢是显性的绕则藏在系统结构里。
DDPM、Flow Matching 需要几十步反复修正Stable Diffusion 看似轻巧实则把复杂度转移给了一个庞大的 VAE 编码—解码系统。
这些设计并非拍脑袋得来它们在稳定性和可控性上确实立过功。
但工程代价也随之堆积推理延迟高、调参空间大、模型结构臃肿。
一旦进入部署阶段这些问题会被无限放大。
后来出现的一致性模型、MeanFlow开始尝试把“多步”压缩成“一步”而 JiT 等工作则直接挑战“像素空间是不是一定不可行”。
问题是这两条路始终没有真正汇合。
单步 像素空间为什么一直没人走通表面看这只是把两个已有想法拼在一起但真正做过的人都知道这一步并不简单。
单步生成对模型表达能力的要求极高而像素空间又是高维、强噪声的“重灾区”。
多数方法要么在速度场里迷路要么生成结果直接失控。
pMF 的切入点恰恰不是继续在“预测什么”上死磕而是换了一个问题问法网络真的需要直接学那个最难的目标吗作者用一张极其克制的示意图把这个问题摆了出来。
把“学什么”和“怎么罚”拆开pMF 的核心想法说穿了并不复杂却非常有分寸感网络输出的空间和损失约束的空间不必是同一个。
模型直接输出的是一张“去噪后的图像”——记作 x。
它不要求完美复原干净样本但被假定落在一个低维图像流形上更接近真实世界里的图像形态。
而真正承担物理与数学约束的是损失函数它仍然工作在 MeanFlow 的速度空间里。
两者之间通过一个线性的、可解释的映射连接起来x zₜ − t · u(zₜ, r, t)给出了对应的仿真可视化zₜ 噪声密集、结构混乱u 高维且不直观而 x 已经呈现出模糊但合理的图像轮廓。
这一步其实是把“难学的东西”悄悄藏进了损失里。
高维空间里预测谁更现实直觉可以骗人实验不会。
论文用一个二维玩具实验把维度从 2 一路拉到 512对比 x-预测和 u-预测的行为差异。
结果在 Figure 2 中一目了然维度一高u-预测几乎立刻崩盘而 x-预测仍然能给出结构稳定的结果。
真实数据集上的表现更加直接。
在 ImageNet 64×64 下两者尚能打平但到了 256×256u-预测的 FID 飙到
1
89而 x-预测仍能维持在可用区间FID
56。
这些数字集中呈现在 Table 2 中。
说到底x 更像“图像应该长什么样”而 u 更像“噪声世界里的导数”。
神经网络会选择谁答案并不意外。
感知损失终于用在了该用的地方pMF 直接在像素空间出图这件事带来了一个很现实的好处感知损失终于不再是“VAE 专属”。
加入 VGG-based LPIPSFID 从
56 下降到
62换成 ConvNeXt-V2 版本后进一步压到
53。
提升幅度不算含蓄但完全说得通。
这不是技巧堆叠而是路径改变带来的红利。
一步生成也能站上性能前排在 ImageNet 256×256 与 512×512 的完整系统对比中pMF 的位置相当清晰一次前向传播NFE1FID 却能和多步扩散模型掰手腕。
从参数量、算力开销到生成质量pMF 并非“便宜凑数”的方案而是一个正经的高性能模型只是把流程压缩到了极限。
这项工作真正留下的是一条路回头看pMF 的意义可能并不只在于刷新了某几个指标。
它更像是在提醒我们生成模型不一定非得层层嵌套、步步回溯。
只要目标设得足够聪明约束放在合适的位置一次映射也可以是稳定而可信的。
未来这条路线能走多远还需要时间验证。
但至少何恺明团队已经把“单步 像素空间”这道题清清楚楚地写出了一种可行解。