Multi-Resolution Flow Matching: Training-Free Diffusion Acceleration via Staged Sampling
arXiv · HuggingFace · ▲32
摘要(原文)
Hardware-agnostic strategies for accelerating text-to-image diffusion, such as timestep distillation and feature caching, can reduce inference time without custom kernels or system-level optimization. Among them, multi-resolution generation strategies have recently received broad attention, attaining more than 5x speedup without any training. However, the design of performing upsampling in the latent space, together with the selective modification of partial regions, causes these methods to exhibit noticeable blurring or artifacts. To this end, we propose MrFlow, a training-free multi-resolution acceleration strategy for pretrained flow-matching models built upon a staged low-to-high-resolution pipeline. MrFlow first rapidly generates the main structure at low resolution, then performs super-resolution in the pixel space using a lightweight pretrained GAN-based model, subsequently injects low-strength noise to enable high-frequency resampling, and finally refines the details at high resolution. Quantitative and qualitative results on FLUX.1-dev and Qwen-Image show that MrFlow exploits the quadratic token reduction and reduced step requirement of low-resolution sampling to achieve 10x end-to-end acceleration while keeping OneIG within a 1% gap relative to that before acceleration, significantly surpassing other training-free acceleration strategies, and requiring no training or runtime dynamic identification whatsoever. MrFlow can further be directly combined orthogonally with pre-trained timestep distillation strategies, achieving even higher generation acceleration of up to 25x.
摘要(中译)
无需依赖硬件特化的文本到图像扩散加速策略(如时间步蒸馏和时间步缓存),可在不使用自定义内核或系统级优化的情况下减少推理时间。其中,多分辨率生成策略近期受到广泛关注,在无需任何训练的情况下实现了超过5倍的加速。然而,潜在空间上采样设计以及局部区域的选择性修改导致这些方法出现明显的模糊或伪影。为此,我们提出了MrFlow,这是一种针对预训练流匹配模型的无训练多分辨率加速策略,基于分阶段低到高分辨率流水线构建。MrFlow首先在低分辨率下快速生成主要结构,然后使用轻量级预训练的基于生成对抗网络(GAN)的模型在像素空间进行超分辨率处理,随后注入低强度噪声以实现高频重采样,最后在高分辨率下细化细节。在FLUX.1-dev和Qwen-Image上的定量和定性结果表明,MrFlow利用低分辨率采样的二次令牌减少和步骤需求降低,实现了10倍的端到端加速,同时将OneIG保持在加速前1%的差距内,显著优于其他无训练加速策略,且完全不需要训练或运行时动态识别。MrFlow还可以进一步与预训练的时间步蒸馏策略正交结合,实现高达25倍的生成加速。
背景剖析
背景剖析
1. 技术背景
近年来,基于扩散模型(Diffusion Models)的图像生成技术(如结合Transformer架构或流匹配范式)取得了显著进展,但其计算成本随生成质量提升而急剧增加。例如,大型模型(如Qwen-Image-20B)在单次文本到图像生成任务中可能需要数百步采样,导致推理时间过长。这种低效性限制了技术的实际应用(如实时交互或资源受限设备)。因此,研究者们致力于开发加速方法,在不牺牲生成质量的前提下减少计算量。
2. 之前的问题
现有加速策略存在明显局限:
- 依赖训练或系统优化:如时间步蒸馏(Timestep Distillation)需要重新训练模型,而特征缓存(Feature Caching)依赖系统级优化,难以通用。
- 速度提升有限:多数方法仅能达到2-5倍加速,且可能引入模糊或伪影。
- 多分辨率方法的缺陷:尽管通过低分辨率生成和高分辨率细化(如潜空间上采样)可实现更高加速,但潜空间上采样易导致结构失真,且动态区域识别增加了复杂度。
3. 本文的解法
本文提出MrFlow,一种无需训练的多分辨率加速策略,核心思路是分阶段粗到细生成:
1. 低分辨率快速生成:利用预训练扩散模型在低分辨率下快速生成图像结构,减少计算量和时间步。
2. 像素空间超分辨率:通过预训练的轻量级GAN网络在像素空间放大图像,保留结构信息并添加高频细节。
3. 噪声注入与高分辨率细化:向潜在空间注入弱噪声以修正超分辨率可能引入的误差,再通过高分辨率采样细化细节。
这一流程避免了潜空间上采样的失真问题,同时利用不同分辨率的空间特性(如低分辨率结构清晰、高分辨率细节丰富)实现高效生成。
4. 切入角度
与前人工作相比,MrFlow的关键差异在于:
- 无需训练或动态识别:直接基于预训练模型,简化了部署流程。
- 分阶段设计:明确分离结构生成、超分辨率和细节细化,避免多阶段方法的复杂性。
- 兼容性:可与现有加速方法(如时间步蒸馏)正交结合,进一步提升速度(最高达25倍)。
这种方法在保持生成质量的同时,实现了10倍端到端加速,显著优于其他无需训练的策略。




