通过简短视频克隆人像并转化为3D数字形象的技术ExAvatar

全文总结
本文主要介绍了一种名为 ExAvatar 的新型表达性全身 3D 高斯化身。它结合了 SMPL–X 的全身驱动性和 3DGS 的强大外观建模能力，可通过短时间的手机扫描创建，并支持新的身体姿势、手部姿势、面部表情的动画和任意视角的渲染。文中还阐述了其混合表示、身体各部位的协同注册、架构以及与先前技术和生成式 AI 的比较等方面。
重要亮点

• ExAvatar 的特性：是一种结合多种优势的新型全身 3D 高斯化身，能从随意捕获的短手机扫描中生成。
• 混合表示的优势：将 3D 高斯和表面网格进行混合表示，使 ExAvatar 与 SMPL-X 的面部表情空间完全兼容，减少新表情和姿势中的瑕疵，保证面部几何和外观的一致性。
• 身体部位的协同注册：在训练前协同注册身体、手和脸，并引入关节偏移和脸部偏移来弥补 SMPL-X 中手和脸表现力的有限性。
• 架构与动画渲染：通过提取特征、处理和结合等步骤构建可动画化的化身，并使用特定算法进行动画和渲染。
• 与其他技术的比较：ExAvatar 在自然运动和外观方面优于先前的化身和生成式 AI，如 3DGS-Avatar、X-Avatar、AnimateAnyone 等。

地址：

https://mks0601.github.io/ExAvatar