Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation
arXiv · HuggingFace · ▲82
摘要（原文）
In this paper, we propose SpectraReward, a training-free reward function that turns pretrained MLLMs into off-the-shelf reward models for image-generation reinforcement learning. Instead of asking the MLLM to judge a generated image or answer decomposed verification questions, SpectraReward measures how well the original prompt can be recovered from the generated image through a single image-conditioned, teacher-forced forward pass. We use the average image-conditioned prompt log-likelihood as the reward, directly reusing the MLLM's pretrained image-text alignment ability without preference labels, reward-model fine-tuning. We further introduce Self-SpectraReward, a special case for unified multimodal models where the policy's own understanding branch serves as the reward model for its generation branch, forming a closed-loop self-improving framework without external reward models or external knowledge. Extensive experiments validate SpectraReward through a broad image-generation RL study covering two diffusion models, three RL algorithms, nine reward MLLM backbones from four MLLM families spanning 4B to 235B parameters, and five out-of-distribution text-to-image benchmarks. Results show that both SpectraReward and Self-SpectraReward significantly and consistently improve generation performance and outperform prior MLLM-derived reward training methods. Further analysis reveals that larger reward MLLMs are not always better, while Self-SpectraReward can match or surpass much larger external reward models, suggesting that reward-policy alignment is a key factor for effective image-generation RL. Project Page: https://huangrh99.github.io/SpectraReward/
摘要（中译）
在本文中，我们提出了SpectraReward，这是一种无需训练的奖励函数，它将预训练的多模态大模型（MLLMs）转化为即用型的奖励模型，用于图像生成强化学习。SpectraReward并非要求多模态大模型（MLLM）对生成的图像进行判断或回答分解后的验证问题，而是通过单次图像条件下的教师强制前向传播来衡量从生成图像中恢复原始提示的效果。我们使用平均图像条件提示对数似然作为奖励，直接复用多模态大模型（MLLM）预训练的图像 - 文本对齐能力，无需偏好标签和奖励模型微调。我们进一步引入了Self - SpectraReward，这是统一多模态模型的一种特殊情况，在这种情况下，策略自身的理解分支充当其生成分支的奖励模型，形成一个无需外部奖励模型或外部知识的闭环自我改进框架。大量实验通过广泛的图像生成强化学习研究验证了SpectraReward，该研究涵盖了两种扩散模型、三种强化学习算法、来自四个多模态大模型（MLLM）家族（参数范围从40亿到2350亿）的九个奖励多模态大模型（MLLM）主干以及五个分布外文本到图像基准测试。结果表明，SpectraReward和Self - SpectraReward都显著且一致地提高了生成性能，并且优于之前的多模态大模型（MLLM）派生奖励训练方法。进一步的分析表明，较大的奖励多模态大模型（MLLM）并不总是更好，而Self - SpectraReward可以匹配或超越大得多的外部奖励模型，这表明奖励 - 策略对齐是有效图像生成强化学习的一个关键因素。项目页面：https://huangrh99.github.io/SpectraReward/
背景剖析
背景剖析
近年来，图像生成技术取得了飞速发展，从专门化的文本到图像模型演进到集成视觉理解和生成的统一多模态模型（UMMs）。强化学习作为有效的后训练阶段，能够持续提升生成结果的组合保真度和指令遵循能力。然而，强化学习流程的成功依赖于两个关键支柱：优化算法和奖励模型。其中，奖励模型决定了训练策略最终能达到的上限，但设计一个既高效又可靠的奖励模型仍然具有挑战性。
先前方法主要分为两类：一类依赖大规模人类偏好标注来对齐视觉-文本表示，但这种方法需要昂贵的数据收集和迭代；另一类尝试复用预训练的多模态大模型（MLLMs）作为零样本奖励来源，虽然无需训练，但对奖励校准和评分噪声敏感，或引入复杂的工程流程。这导致现有方法无法同时满足"无偏好标签"、"训练自由"和"即插即用"的需求。
本文提出SpectraReward，通过重用预训练MLLM的图像-文本对齐能力，将其转化为无需额外训练的图像生成奖励模型。核心思路是测量生成的图像能在多大程度上"读回"原始提示——通过冻结MLLM对图像进行条件化，并计算提示token的平均对数似然作为奖励信号。进一步针对统一多模态模型提出Self-SpectraReward，利用模型自身的理解分支为生成分支提供奖励，形成无需外部依赖的闭环自改进框架。
与前人工作的关键差异在于：1）不同于直接让MLLM判断图像质量或回答分解问题，SpectraReward通过单一前向传播计算提示恢复度；2）Self-SpectraReward利用模型内部的统一架构实现奖励-策略对齐，而此前方法依赖外部模型；3）实验表明奖励模型的分布对齐比单纯扩大规模更重要，这与传统认知不同。这种方法在保持效率的同时，显著提升了生成性能。
