以即插即用方式控制全身多模态运动生成的统一框架 ControlMM

本文主要探讨了全身多模态运动生成的相关内容，指出其在视频生成和角色动画等方面有诸多应用，但在统一模型完成不同条件模态的生成任务时面临运动分布漂移、混合条件优化复杂以及现有数据集运动格式不一致等挑战。为此，提出了以即插即用方式控制全身多模态运动生成的统一框架 ControlMM。
重要亮点

实验效果：大量实验表明 ControlMM 在各种标准运动生成任务中达到了最先进的性能。

面临的挑战：在全身多模态运动生成中，统一模型面临运动分布在不同生成场景中漂移、混合条件粒度不同导致的复杂优化以及现有数据集运动格式不一致等问题。

提出的框架：ControlMM 这一统一框架被提出，用于控制全身多模态运动生成，以即插即用的方式运作。

解决方法：为有效学习和转移不同运动分布的运动知识，提出 ControlMM-Attn 用于并行建模静态和动态人体拓扑图；为处理不同粒度的条件，采用从粗到细的训练策略；为应对现有基准的运动格式限制，引入基于统一全身 SMPL-X 格式的 ControlMM-Bench 基准。

项目地址：

https://yxbian23.github.io/ControlMM