近日，Meta AI发布了Segment Anything系列的最新模型SAM 3D，该模型能够通过单张2D照片生成高质量的3D资产。这一创新技术在物体和人像重建方面表现出色，并且在多个基准测试中优于现有方法。SAM 3D的发布，不仅为3D内容创作带来了新的可能性，还推动了人工智能在空间理解领域的进步。
1. SAM 3D Objects与SAM 3D Body：面向不同场景的高效重建
SAM 3D包含两个子模型：SAM 3D Objects和SAM 3D Body。SAM 3D Objects专注于通用物体和场景的重建，能够从单张2D照片中生成带纹理、材质与几何一致性的3D模型。即使在小物体、遮挡或间接视角等复杂情况下，该模型也能准确重建物体的形状、纹理和姿态。在公开数据集上，SAM 3D Objects的Chamfer Distance降低了28%，法向一致性提升了19%。而SAM 3D Body则专注于人像重建，能够准确估计人体的姿态和形状，即使在多人场景或部分遮挡的情况下也能表现出色。在AGORA-3D基准测试中，SAM 3D Body的MPJPE指标优于现有最佳单图方法14%。
2. 核心技术创新：空间位置与语义的联合编码
SAM 3D的核心创新在于其“空间位置-语义”联合编码技术。该技术为每个像素预测3D坐标与表面法向，确保了模型的物理正确性。这种联合编码方式不仅提高了模型对物体和场景的空间理解能力，还使其能够生成更符合现实世界的3D模型。这一技术突破使得SAM 3D在真实世界图像的3D重建中表现卓越，显著优于现有的NeRF与Gaussian Splatting方案。
3. 广泛应用与未来展望
Meta已将SAM 3D集成至Quest 3与Horizon Worlds创作工具中，开发者可以通过Edits与Vibes应用调用API，按量计费0.02美元/模型。此外，Meta计划在2026年第一季度发布实时手机端推理SDK，这将进一步推动SAM 3D在移动设备上的应用。SAM 3D的发布为增强现实、虚拟现实、游戏、电商可视化、机器人和医疗等领域带来了广阔商机。例如，在电商领域，SAM 3D Objects可以用于虚拟试穿，提升用户体验；在医疗领域，SAM 3D Body可以用于远程诊断，提供准确的3D患者运动重建。
尽管SAM 3D在3D重建方面取得了显著进展，但仍有提升空间。当前模型的输出分辨率有限，复杂物体的细节表现仍有待提高。此外，模型目前主要针对单个物体或人像进行重建，对多物体之间的物理交互推理尚未实现。未来，随着技术的进一步发展，SAM 3D有望在更复杂的场景中实现更精细、更自然的3D重建。
