【逐梦国际】视频大模型物理短板破解 模拟器免训练实现流体可控生?

物理现象挑战：视频模型运动一致性不足

液体中旋转物体带动周围流体飞溅，撞击水面引发对应响应，这些基础交互对当前视频生成大模型构成难题。模型虽能呈现逼真材质光照与运动，但连续画面常违背物理规律，尤其在流体与物体交互场景中，指定轨迹下的液体响应缺失导致整体不协调。

画面单帧真实不等于序列符合物理，复杂流体动态更暴露模型短板。研究者探索无需重新训练模型的路径，转而借助成熟物理模拟器提供运动指导。

框架提出思路：解耦运动与外观实现控制

Fluid-Gen-Zero框架将物理运动计算与视觉合成分离，模拟器负责轨迹与状态推演，预训练视频模型专注外观渲染。通过生成时规划与潜空间引导连接两者，实现无需参数更新的物理增强。

该方法在多种视频模型上验证，物体轨迹误差与流体光流误差显著下降，同时保留原有视觉质量。核心在于推理阶段引入外部物理信号，避免反复训练成本。

生成时规划机制：自适应切分与提示优化

框架首先将输入图像转为可模拟的三维场景，利用物理引擎获取全序列运动轨迹、掩码与光流信息。视觉语言模型辅助判断事件剧烈程度，避免在碰撞或飞溅关键时刻切分视频片段。

平稳阶段可延长片段长度，剧烈阶段缩短并细化文本提示，确保每个生成段落聚焦当前物理事件。规划过程结合三维运动、视觉变化与语义描述，维持序列连贯性。

潜空间控制策略：区域感知约束平衡质量

物体区域在去噪早期施加强约束以遵循模拟位置与形状，流体区域则采用柔和衰减约束，保留模型对材质反射与细节的生成能力。参考视频编码后作为结构引导，与原有运动控制接口兼容。

这种区域差异化处理既保证结构准确，又避免粗糙外观干扰视觉效果，适用于不同规模与控制方式的视频模型。

实验验证结果：多模型物理对齐明显提升

评测基准涵盖43个流体交互样本与长序列仿真参考，接入Tora、VACE与WanMove后，物体轨迹误差降低26.7%至81.5%，流体光流误差降低67.9%至84.0%。用户偏好测试中，改进版本获得更高认可度。

方法展示利用外部模拟器增强物理一致性的可行路径，未来可进一步优化复杂场景与长时间生成稳定性。 逐梦国际 逐梦国际