字节推出单图视频驱动模型 X-Portrait 2

即只需一张静态照片和一段驱动视频，即可生成高质量、“电影级”的视频。可一键生成相同表情神态。

字节跳动推出的单图视频驱动模型 X-Portrait 2 是一项革命性的技术，它能够基于一张静态照片和一段驱动视频生成高质量、电影级别的视频。以下是 X-Portrait 2 的一些主要功能和特点：

1. 表情和情绪迁移：X-Portrait 2 能够将驱动视频中的表情和情绪迁移到静态肖像上，生成具有丰富表情的视频内容。
2. 高保真度：在生成视频中保持高保真度，确保表情和情绪的细微变化得到准确再现。
3. 跨风格和跨域迁移：模型支持将表情迁移到不同风格和领域的图像上，包括写实肖像和卡通图像。
4. 实时视频生成：实时生成视频，减少传统动作捕捉和角色动画的复杂性。
5. 广泛的应用场景：适用于真实世界叙事、角色动画、虚拟代理和视觉效果等多种场景。
6. 技术原理：X-Portrait 2 构建了一个表情编码器模型，该模型从输入中隐式编码每一个微小的表情变化，基于在大规模数据集上的训练实现。
7. 生成式扩散模型：将表情编码器与生成式扩散模型相结合，生成流畅且富有表现力的视频。
8. 外观与运动解耦：在训练表情编码器时，确保外观和运动信息的强解耦，让编码器只关注驱动视频中与表情相关的信息。
9. 细节捕捉：捕捉、迁移包括快速头部动作、细微表情变化和强烈个人情感在内的复杂表情和动作，对于高质量的动画内容创作至关重要。

X-Portrait 2 的问世，为视频创作领域带来了新的突破，使得仅凭一张静态图片和一段驱动视频，即可生成高品质的“电影级”视频，彻底改变了传统视频制作的方式。这项技术的应用场景非常广泛，包括电影和动画制作、游戏开发、虚拟主播和虚拟偶像、社交媒体和内容创作、教育和培训等。

项目地址：

https://byteaigc.github.io/X-Portrait2