主要介绍了名为 LivePortrait 的视频驱动肖像动画框架。该框架旨在从单张源图像合成逼真视频，其运动来自驱动视频、音频、文本或生成。作者探索并扩展了基于隐式关键点的框架潜力，通过多种手段提升了生成质量和泛化能力，包括扩大训练数据、采用混合图像–视频训练策略、升级网络架构以及设计更好的运动变换和优化目标等。文中还详细阐述了框架的各个模块和训练流程，并展示了实验结果和相关对比。
重要亮点
- 框架目标：合成逼真的肖像动画，以单张源图像为外观参考，运动来自多种来源。
- 创新方法：不遵循主流扩散方法，探索基于隐式关键点框架的潜力。
- 提升手段：扩大训练数据、采用新训练策略、升级架构和设计新模块。
- 模块训练：分两个阶段训练基础模型、拼接和重定向模块。
- 实验效果：生成速度快，在 RTX 4090 GPU 上达 12.8ms，效果优于扩散方法。
项目地址：
https://liveportrait.github.io
本文地址：https://www.163264.com/8839