让三维重建更真实！OpenMaterial：首个复杂材料、形状、光照数据集

点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达

来源：3D视觉工坊

添加小助理：dddvision，备注：方向+学校/公司+昵称，拉你入群。文末附行业细分群

扫描下方二维码，加入3D视觉知识星球，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门视频课程（星球成员免费学习）、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

0. 这篇文章干了啥？

从一系列图像中恢复场景的物理3D布局一直是计算机视觉中一个长期且基础的问题。成功实现这种3D重建将促进许多下游任务，如增强/虚拟/混合现实、自主导航的环境映射或使用无处不在的移动设备创建现实世界的数字孪生。

近年来，3D重建领域取得了显著进展，特别是通过神经辐射场（NeRF）的发展，尽管它通常针对新视图合成，但目标是内部提取3D场景表示。在这种情况下，虽然开创性的NeRF方法简单地将3D形状建模为占用图，但后续方法引入了隐式神经表示的使用，如深度有符号距离函数，从而利用了流行的3D形状模型。其中，Neuralangelo、BakedSDF和Instant-NGP等变体在其各自领域达到了巅峰性能。然而，对这些算法性能的仔细检查表明，它们可能会根据观察对象的材料属性产生不令人满意的结果。例如， Neuralangelo在处理金属兔子模型时会产生几何失真；类似地，BakedSDF在重建具有镜面表面的烤面包机时会产生伪影。总的来说，尽管现有的3D重建算法在具有漫反射表面的对象上几乎产生了完美的结果，但在存在具有复杂光学属性的对象（如金属、玻璃等）时，它们总是失败。这是因为这些对象上光的折射、透射和镜面反射的复杂性导致多个视图之间的颜色不一致，从而违反了现有方法的基本假设，对3D重建构成了重大挑战。在非漫反射物体3D重建方法的发展中，一个关键障碍是缺乏一个涵盖大量复杂材料和物体形状的标准数据集。

到目前为止，只有一个数据集引入了一些具有挑战性的材料，但仅限于8个物体。然而，这不足以提供一个全面的基准来评估算法在成功处理不同材料类型方面的能力。

在本文中，我们介绍了一个名为OpenMaterial的综合数据集，它包含一系列具有挑战性的材料、多样的形状和光照条件。为了应对获得具有真实3D形状的大规模、多样化集合的挑战，我们利用基于物理的渲染来生成具有出色真实感的密集多视图图像。OpenMaterial涵盖了295种不同的材料类型，分为七个类别，包括导体、电介质和塑料。这包括294种具有实验室测量的折射率（IOR）值的材料，代表真实世界的材料，以及一种理想化的漫反射材料。我们的数据集还包括1001个独特的几何形状，以确保形状多样性，并包含723种不同的环境光照条件，复制了广泛的室内和室外场景。

下面一起来阅读一下这项工作~

1. 论文信息

标题：OpenMaterial: A Comprehensive Dataset of Complex Materials for 3D Reconstruction

作者：Zheng Dang, Jialu Huang, Fei Wang, Mathieu Salzmann

机构：CVLab、西安交通大学

原文链接：https://arxiv.org/abs/2406.08894

代码链接：https://christy61.github.io/openmaterial.github.io/

2. 摘要

深度学习领域的最新进展，如神经辐射场和隐式神经表示，已显著推动了三维重建领域的发展。然而，由于金属和玻璃等具有复杂光学属性的物体具有独特的镜面反射和光透射特性，因此准确重建这些物体仍然是一个巨大的挑战。为了促进解决这些挑战的解决方案的发展，我们引入了OpenMaterial数据集，该数据集包括由295种不同材料（包括导体、电介质、塑料及其粗糙变体）制成的1001个对象，并在723种不同的光照条件下进行了捕获。为此，我们利用基于物理的渲染技术和实验室测量的折射率（IOR），生成了高保真度的多视角图像，这些图像紧密地复制了现实世界中的物体。OpenMaterial提供了全面的注释，包括3D形状、材料类型、相机姿态、深度和对象掩码。它是第一个大型数据集，使现有算法能够在具有多样性和挑战性的材料上进行定量评估，从而为开发能够处理复杂材料属性的三维重建算法铺平了道路。

3. 主要贡献

OpenMaterial在材料类型、几何形状和光照条件方面的广泛多样性不仅支持全面的评估，还使现有算法在处理具有挑战性的材料方面的能力得到详细分析。我们通过使用我们的数据集评估最先进（SOTA）的3D重建和新颖视图合成算法来展示这一点。据我们所知，OpenMaterial是第一个专门为针对具有复杂材料的对象的3D重建方法的定量评估而设计的数据集。为了促进未来的工作，数据和评估协议可以在https://christy61.github.io上访问。

4. 数据集构建

我们的目标是创建一个数据集，以便在各种材料、形状和光照条件下对现有的3D重建算法进行全面评估。我们的数据集涵盖了七种材料类型：漫反射、导体、电介质、塑料、粗糙导体、粗糙电介质和粗糙塑料，总计295种不同的类型。它包含1001个场景，每个场景都具有独特的形状和随机选择的一种材料。光照条件也从723个可用的高动态范围成像（HDRI）环境光照选项中随机选择。为了创建一个平衡的数据集，七个材料类别中的每一个都在143个场景中得到体现。除了来自多个相机位置的多视图图像外，数据集还包括3D网格模型、材料注释、相机姿态、深度图和对象掩码，为深入分析和测试提供了丰富的数据集。

现在，让我们描述我们在创建数据集时使用的材料类型和微表面模型。

导体以其可以在材料内部自由移动的电子为特征。在光照下，这些自由电子吸收并重新辐射电磁波，导致大部分入射光被反射，如图1所示。这种高反射率就是金属通常呈现出闪亮、反射表面的原因，如图2所示。任何穿透表面的光都会在最初的0.1微米内被吸收，迅速转化为热量，使金属呈现不透明状态。由于透射光迅速被吸收并转化为热量，我们特别选择在渲染过程中仅使用双向反射分布函数（BRDF）来模拟反射部分，从而简化了导体表面的模拟。

玻璃和纯水等介电材料缺乏自由电子，这是电导率所必需的；因此，与导体不同，光能够穿过这些材料而不被吸收，如图1所示。这种特性使它们具有显著的透射性质和透明外观，如图2所示。光与介电材料的相互作用受其透明度和内部结构的影响，可能导致透射或反射。我们在模拟中使用双向反射分布函数（BRDF）来模拟反射，使用双向透射分布函数（BTDF）来模拟透射。

由有机化合物衍生的塑料聚合物属于介电材料的一个子组，并表现出类似的反射和折射等属性。它们独特的分子结构，加上内部色素的加入，促进了漫反射（如图1所示），导致表面呈现出光泽镜面反射和柔和外观的混合（如图2所示）。

这些颜料选择性地吸收和传输各种光波长，从而产生丰富的色彩光谱。在模拟中，塑料被建模为一个反射和折射的外层与一个散射的内层相结合，以提供对光线交互的微妙且物理上准确的描述。我们分别使用双向反射分布函数（BRDF）和双向透射分布函数（BTDF）来模拟反射和透射。

在模拟中，漫反射材料通常被理想化以突出其均匀散射接收到的光照的特性，使得表面从任何观看方向看起来都是一致的。为了准确模拟这些材料，我们给BRDF分配一个固定的反射率参数。为了增强在不同背景下的可见性，每种颜色都被分配了一个0.15到0.85之间的随机灰度值，确保材料从背景中明显区分开来。

微表面模型。给定双向散射分布函数（BSDF），我们利用微表面模型来真实地模拟影响光散射的微观表面细节。具体来说，我们通过选择适当的微表面分布来适应光滑和粗糙的表面。对于导体、电介质和具有光滑表面的塑料等材料，我们采用Dirac delta分布D(ωh) = δ(ωh − ωn)，它仅在表面法线ωn方向上非零。这种选择确保了尖锐和精确的反射和折射，如图2所示，有效地模拟了抛光金属、玻璃和塑料的真实外观。

我们的数据集包含了从Objaverse-1数据集中精心挑选的1001个独特形状。为了确保形状的多样性和复杂性，我们选择了从简单的物体（如吉他）到复杂的物体（如由不同人体姿势和复杂面部表情组成的喷泉雕像）的各种形状。图3展示了几个示例。然后，这些形状被随机分配到七个材料类别中。

为了获得高多样性的光照条件，我们使用了723个HDRI（高动态范围成像）环境贴图，涵盖了室内和室外场景。这些HDRI贴图精心捕捉了现实环境中光强的全光谱。这不仅增加了渲染图像的真实性，还使得能够呈现物体上复杂多变的反射和折射模式，如图4所示。这些HDRI贴图提供的广泛光照场景对于全面评估算法在处理多样化和挑战性光照条件下的有效性至关重要。

为了消除尺度偏差，我们在单位球体内标准化了物体大小。这使得我们能够使用斐波那契网格在上半球上采样相机位置，确保均匀分布和非重叠覆盖。然后，我们将这些相机位置分为独立的训练（50个）和测试（40个）视点。所有使用Mitsuba渲染的高分辨率图像（1600x1200像素），以及相关的数据（包括相机位置、深度、3D物体模型和物体掩码）都以标准的Blender格式存储，并支持转换为COLMAP格式，以方便研究社区中的使用。

6. 实验结果

我们评估了两种最先进的3D重建算法Instant-NeuS和NeuS2在不同光学属性的材料上的性能。表1提供了不同材料类型的Chamfer距离指标。我们的结果表明，这两种算法在表现出漫反射特性的材料上表现优异，如Diffuse和Rough Plastic，它们在这些材料上实现了最低的Chamfer距离。这证实了这些材料的更均匀和与视角无关的反射特性与算法的能力和假设非常吻合，如图5所示，其中漫反射物体被重建出了丰富的细节。

相比之下，具有高镜面反射和折射的材料，如导体和介质，会带来显著挑战，导致Chamfer距离显著增加。这些材料，特别是它们的光滑形式，由于它们与光的复杂交互作用（包括尖锐的反射和透明度），很难进行重建。结果表明，当前最先进的算法Instant-NeuS和NeuS2所采用的物理模型缺乏处理镜面反射和透射的能力。如图5所示的这些挑战的例子中，可以看到一些伪影，如火星车车身部分由于透射光导致多视图颜色不一致而产生许多孔洞，以及摩托车前挡风玻璃由于天空反射导致类似的不一致而产生孔洞。粗糙的材料表面往往比光滑的表面产生更好的重建结果，可能是因为它们散射光的能力使它们更接近漫反射材料的行为，从而简化了算法的任务。

这个实验强调了算法需要进一步发展以更好地处理具有高镜面反射和透明特性的材料，为未来研究提供了一个潜在的方向。

如表2所示，新颖视图合成的结果与3D重建结果呈现出相同的模式，这表明不同原理和算法下，材料对算法性能的影响具有共性。具体来说，结果表明，像漫反射和粗糙塑料这样的材料始终表现出最高的性能，而导体和介电材料则构成了最大的挑战。与3D重建一样，这些材料的粗糙版本比其光滑版本产生了更好的结果。

Instant-NGP和基于高斯样条的算法，它们本质上都是基于颜色一致性的，在符合这一假设的漫反射材料上表现优异。相反，导体和介电材料固有的高镜面反射和复杂的光传输会破坏多视图颜色一致性，导致渲染图像中出现混乱的颜色块。例如，在图6中，留声机的喇叭金属表面反射了地面上的棋盘图案，这两种算法都难以准确重建这种镜面反射。此外，对于棋子，背景纹理应该通过透明度显示出来，但由于传输引起的颜色视角依赖性，这两种方法都产生了混乱的纹理。而且，由于底部反射产生的锐利高光在一定程度上被高斯样条算法捕获，而Instant-NGP无法重建这些特征。

总的来说，我们的结果表明，不同的新颖视图合成和3D重建算法展现出了一致的趋势，强调了材料属性是这些领域共有的挑战。这一观察突出了准确重建具有高光泽和透明特性的材料的困难，强调了开发专门用于处理复杂材料的算法的必要性。

7. 局限性 & 总结

我们介绍了OpenMaterial，这是第一个为具有复杂材料物体的3D重建方法设计的大规模数据集，具有广泛的形状、材料类型和光照条件。我们的数据集不仅支持全面的评估，还促进了对现有算法在处理具有挑战性材料时能力的分析。我们通过评估最先进的3D重建和新颖视图合成算法验证了其效用。然而，我们方法的主要局限在于数据集的扩展。虽然理论上可以通过纳入现有开源数据集中的模型来增加形状的多样性，但许多模型的质量并不符合现实世界标准。这需要进行手动选择以确保真实性，如果需求更大的数据量，这一过程可能会成为瓶颈。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

本文仅做学术分享，如有侵权，请联系删文。

3D视觉工坊交流群

目前我们已经建立了3D视觉方向多个社群，包括2D计算机视觉、大模型、工业3D视觉、SLAM、自动驾驶、三维重建、无人机等方向，细分群包括：

2D计算机视觉：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

大模型：NLP、CV、ASR、生成对抗大模型、强化学习大模型、对话大模型等

工业3D视觉：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机：四旋翼建模、无人机飞控等

除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群

添加小助理: dddvision，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。

3D视觉工坊知识星球

3D视觉从入门到精通知识星球、国内成立最早、6000+成员交流学习。包括：星球视频课程近20门（价值超6000）、项目对接、3D视觉学习路线总结、最新顶会论文&代码、3D视觉行业最新模组、3D视觉优质源码汇总、书籍推荐、编程基础&学习工具、实战项目&作业、求职招聘&面经&面试题等等。欢迎加入3D视觉从入门到精通知识星球，一起学习进步。

3D视觉工坊官网：www.3dcver.com

3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、三维视觉C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪，无人机等。

3D视觉相关硬件

—  完  —

点这里声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop】