Stability AI 在2025年1月9日的CES展会上宣布推出了一种名为SPAR3D(Stable Point Aware 3D)的创新3D生成技术。SPAR3D是一种两阶段的3D生成方法,能够在不到一秒的时间内从单个图像中生成精确的3D对象,并支持实时编辑功能。这项技术为游戏开发者、产品设计师和环境构建者提供了全新的3D原型设计方式。
SPAR3D的主要功能和特点
- 实时生成能力
- 快速生成:能够从单张图像中生成完整的3D对象结构,生成时间不足一秒。
- 高效编辑:编辑后的点云转换为最终网格的速度仅为0.3秒。
- 先进的编辑功能
- 点云编辑:用户可以直接对点云进行操作,包括删除、复制、拉伸和添加特征。
- 重新着色:提供对3D模型颜色的调整功能,增强创作灵活性。
- 精确的结构预测
- 完整结构预测:能够提供准确的几何形状和详细的360度视图预测,包括隐藏区域。
- 高分辨率输出:通过三平面变换器生成高分辨率的三平面数据,捕捉图像的纹理和光照。
- 开放的使用政策
- 广泛的应用许可:支持商业和非商业用途,用户可在多个平台上获取和使用该模型。
- 开发者友好:可通过Hugging Face下载权重,获取代码在GitHub上使用,或通过API访问。
技术架构
SPAR3D的工作流程分为两个阶段:
- 第一阶段:使用轻量级点扩散模型生成稀疏的3D点云,采样速度快。
- 第二阶段:利用这些点云和输入图像来构建高细节的网格模型。
这种两阶段设计不仅提高了计算效率,还保证了输出质量,克服了传统单图像3D重建方法的局限。
性能表现
在性能测试中,SPAR3D在GSO和Omniobject3D数据集上表现出色,优于现有的多种最先进的算法。研究团队通过多项实验验证了该技术的有效性,尤其是在处理图像遮挡和细节重建方面的优势。
实际应用示例
- 艺术品和日常用品:SPAR3D能够生成精确的几何形状和完整的360度视图,包括通常隐藏的区域(例如物体的背面)。
- 实时编辑:用户可以通过删除、复制、拉伸和重新着色点云来直接编辑生成的3D对象,大大提高了操作的灵活性和创意空间。
获取和使用
SPAR3D的模型权重可以在Hugging Face上下载,代码可以在GitHub上获取,也可以通过Stability AI Developer Platform API访问。
SPAR3D的推出标志着3D生成领域的一次重大突破,为3D建模带来了全新的可能性。
本文地址:https://www.163264.com/10255