BadWAM: When World-Action Models Dream Right but Act Wrong
arXiv · HuggingFace · ▲47
摘要（原文）
World-action models (WAMs) are emerging as a promising foundation for embodied control: rather than predicting actions alone, they learn representations that couple action generation with future world prediction. This coupling is often viewed as a source of robustness, interpretability, and safety, as a robot's action can in principle be checked against its imagined future. In this paper, we show that this assumption is fragile. We introduce BadWAM, a unified framework for modeling and evaluating World-Action Drift Attacks: a new class of WAM-specific adversarial attacks that use small visual perturbations to break the alignment between what a WAM imagines and what it executes. BadWAM characterizes this attack surface along two natural criteria: attack strength and stealthiness. When the adversary prioritizes disruption, BadWAM instantiates an action-only adversarial attack, which directly drives the model toward task-failing actions. When the adversary additionally prioritizes stealth, BadWAM instantiates an imagination-preserving adversarial attack, which seeks to induce harmful action shifts while keeping the model's predicted future close to its clean imagination. Together, these two attacks capture a spectrum of WAM-specific failures: from overt action hijacking to stealthier cases where the model appears to imagine a plausible future but executes a desynchronized action. We evaluate BadWAM across different variants of WAMs. Results show that our attacks substantially reduce task success rates under closed-loop execution. For example, our action-only attack reduces the model performance from 96.5% to 43.1% success. The results of our imagination-preserving attack further exposes a WAM-specific vulnerability: moderate future-preserving regularization can maintain strong attack performance while reducing future imagination drift.
摘要（中译）
世界动作模型（World - action models，WAMs）正成为具身控制的一个有前景的基础：它们不是仅预测动作，而是学习将动作生成与未来世界预测相结合的表示。这种结合通常被视为鲁棒性、可解释性和安全性的来源，因为原则上可以对照机器人想象的未来来检查其动作。在本文中，我们表明这一假设是脆弱的。我们引入了BadWAM，这是一个用于建模和评估世界 - 动作漂移攻击（World - Action Drift Attacks）的统一框架：这是一类新的针对WAM的对抗性攻击，它使用小的视觉扰动来打破WAM想象的内容和它执行的内容之间的对齐。BadWAM根据两个自然标准来描述这个攻击面：攻击强度和隐蔽性。当对手优先考虑破坏时，BadWAM实例化一个仅动作的对抗性攻击，该攻击直接将模型推向导致任务失败的动作。当对手还优先考虑隐蔽性时，BadWAM实例化一个保持想象的对抗性攻击，该攻击试图在使模型的预测未来接近其干净想象的同时引发有害的动作偏移。这两种攻击共同捕捉了一系列特定于WAM的故障：从公开的动作劫持到更隐蔽的情况，在这些情况中，模型似乎想象了一个合理的未来，但执行了一个不同步的动作。我们在不同变体的WAM上评估了BadWAM。结果表明，在闭环执行下，我们的攻击显著降低了任务成功率。例如，我们的仅动作攻击将模型性能从96.5%的成功率降低到43.1%。我们的保持想象的攻击的结果进一步揭示了一个特定于WAM的漏洞：适度的未来保持正则化可以在保持强攻击性能的同时减少未来想象的漂移。
背景剖析
背景剖析
1. 技术背景
机器人需要更智能地与环境互动——比如在家庭中整理物品、在仓库中搬运货物，或在危险场景中执行任务。传统方法让机器人“只看动作”（比如直接预测下一步该动哪里），但这种方法容易出错，因为机器人无法预见自己行为的长期后果。世界-行动模型（WAM）应运而生，它让机器人不仅学习“如何行动”，还学习“行动会带来什么结果”。例如，机器人可以想象“如果我移动这个箱子，旁边的架子会不会倒？”这种能力让机器人更安全、更可靠，因为它能提前发现危险并调整计划。
2. 之前的问题
尽管WAM听起来很理想，但它有一个致命弱点：行动和想象可能不同步。比如，机器人可能想象自己成功完成了任务（比如“把杯子放到桌子上”），但实际执行的动作却导致失败（比如“杯子掉地上”）。更糟糕的是，这种“脱节”很难被发现——因为机器人的想象看起来完全合理。之前的攻击研究主要针对图像分类或简单机器人策略，但没有考虑WAM特有的“行动-想象耦合”问题。
3. 本文的解法
本文提出了BadWAM框架，专门测试WAM的脆弱性。它通过两种攻击方式验证问题：
- 直接破坏行动：用微小的视觉干扰（比如修改一张图片的像素）让机器人做出错误动作，比如“抓空”或“打翻物体”。
- 隐蔽攻击：让机器人的想象看起来没问题（比如“杯子还在桌子上”），但实际动作却失败（比如“机械臂突然松手”）。
实验表明，这些攻击能大幅降低机器人的任务成功率（比如从96.5%降到43.1%），证明WAM的“安全信号”（即想象未来）并不可靠。
4. 切入角度
与以往研究不同，BadWAM不关注“如何让模型更准确”，而是问：“模型在什么情况下会欺骗自己？”它揭示了一个关键问题：WAM的行动和想象是两个耦合但可能脱节的系统。攻击者可以利用这一点，在不破坏想象的情况下破坏行动。这种视角为未来的安全研究指明了新方向——仅仅优化预测能力是不够的，必须确保行动与想象真正对齐。
