CADCrafter 是一种能够从普通用户拍摄的无约束图像中生成计算机辅助设计（CAD）模型的工具，它通过深度学习技术将图像转换为精确的 CAD 命令序列，从而实现从现实世界物体到数字孪生模型的快速转换。
一、主要功能
图像到 CAD 模型的转换：CADCrafter 可以将用户拍摄的多视图或单视图图像转换为精确的 CAD 命令序列，这些命令序列可以直接编译成 3D CAD 模型。
支持多种输入：该工具不仅支持从合成数据渲染的图像，还能处理真实世界中的 3D 打印 CAD 模型图像，甚至可以处理未见过的通用物体图像。
高精度和高鲁棒性：CADCrafter 在处理真实世界图像时表现出色，能够生成准确的几何形状，并且在多视图和单视图输入下都能保持低无效率。
二、技术原理
几何特征编码器：CADCrafter 使用几何特征（如深度图和法线图）来增强图像的几何表示，这些特征对纹理变化不敏感，从而减少了合成数据和真实世界数据之间的域差距。
潜扩散模型：该工具基于潜扩散模型，通过在训练阶段将 CAD 命令序列编码到潜在空间，然后在测试阶段从潜在空间解码生成 CAD 命令序列。
直接偏好优化（DPO）：为了提高生成 CAD 命令的有效性，CADCrafter 使用直接偏好优化技术，通过 CAD 编译器的反馈来优化生成的命令序列，确保其几何有效性。
三、应用场景
制造业：快速创建物理对象的数字孪生模型，用于产品设计、原型制作和生产准备。
建筑设计：从现场拍摄的建筑构件图像中生成 CAD 模型，用于建筑设计和改造。
教育和培训：为学生和工程师提供直观的 CAD 模型创建工具，帮助他们更好地理解和操作 CAD 软件。
考古和文物修复：从文物的图像中生成 CAD 模型，用于文物的数字化保存和修复工作。
四、使用方法
数据准备：用户需要准备目标物体的多视图或单视图图像，这些图像可以是合成渲染图或真实世界拍摄的图像。
模型训练：CADCrafter 预先在合成数据上进行训练，用户无需进行复杂的训练过程。
图像输入：将准备好的图像输入到 CADCrafter 系统中。
CAD 模型生成：系统将自动处理输入图像，生成对应的 CAD 命令序列，并将其编译为 3D CAD 模型。
模型编辑和优化：生成的 CAD 模型可以直接在任何主流 CAD 软件中进行进一步编辑和优化。
五、适用人群
工程师和设计师：需要快速从物理对象创建 CAD 模型的专业人员。
学生和教育工作者：希望在教学和学习过程中使用直观工具来理解 CAD 建模的人员。
考古学家和文物修复专家：需要对文物进行数字化处理和修复的专业人员。
六、优缺点介绍
优点：
高精度和鲁棒性：能够准确生成 CAD 模型，即使在真实世界图像中也能保持低无效率。
用户友好：无需复杂的 3D 扫描设备，普通用户拍摄的图像即可作为输入。
通用性强：可以处理多种类型的物体，包括合成数据和真实世界物体。
缺点：
对输入图像质量有一定要求：虽然对真实世界图像有较好的适应性，但图像质量过低可能影响生成效果。
生成复杂度有限：目前的生成复杂度受限于现有数据集，对于非常复杂的物体可能需要更高级的数据集和模型。
七、分类标签
计算机辅助设计、图像处理、深度学习、数字孪生、制造业