手机3d扫描软件基于「Digitalizer」，将Meta Quest 3作为3D扫描仪

用户投稿 2025年06月19日 10:44:04 13 0

基于「Digitalizer」，将Meta Quest 3作为3D扫描仪

🤖 由文心大模型生成的文章摘要

前文介绍了VR应用「Digitaliz

手机3d扫描软件基于「Digitalizer」，将Meta Quest 3作为3D扫描仪

「Digitalizer」基于一个极具前景的构想。在该应用中，右手持有一个虚拟扫描仪，能够利用它对真实物体进行数字化处理。随后，扫描所得的物体可被导出为OBJ格式。Horizon Store描述如下：“其应用场景涵盖将扫描对象用作参考，以创建更高质量、真实比例的模型，进行3D打印、动画制作，或者将其作为短片的背景。”

开发人员在Reddit上表示，这款应用借助Quest 3的深度传感器对物体和环境进行扫描，精度可达5毫米。

我在Quest 3上对该VR应用展开了测试，然而初步测试结果并不尽如人意。无论是扫描罐头这类小物件，还是吸尘器这样的大物件，输出结果都宛如一团无定形的体素簇，其轮廓和颜色与原始物体仅有模糊的相似之处。

这一构想固然令人振奋，但就目前而言，Quest的硬件和软件配置尚无法充分满足此类应用场景的需求。我坚信，随着Quest配备分辨率更高的深度传感器，未来硬件与软件这两方面的状况都将得到改善。

我对几天前发布的「Digitalizer」最新版本（v7）进行了测试。该版本新增了诸多功能，其中便包括RGB支持。这意味着能够对真实物体的颜色进行估算，并将其应用于扫描副本之上。这一功能是通过Meta近期推出的Passthrough Camera API（PCA）得以实现的。该API允许开发人员访问Quest摄像头，并实时将专有的计算机视觉算法和AI模型应用于视频素材，比如用于颜色识别。由于支持PCA的应用尚未被允许在Horizon Store上发布，所以若想获得RBG支持，只能使用在Itch.io上售卖的版本。

此次更新还增添了撤消功能以及多模式手部追踪功能，这意味着用户能够同时使用手部追踪和控制器进行操作。

cvpr 2024｜基于通用手部模型从手机扫描创建真实感手部化身

Authentic Hand Avatar from a Phone Scan via Universal Hand Model

研究背景

随着增强现实（AR）和虚拟现实（VR）技术的不断发展，对真实感3D手部化身的需求日益增长。传统的3D手部模型通常依赖于大量的3D扫描数据，并且难以实现对手部形状和纹理的个性化表示。此外，现有的从手机扫描创建3D手部化身的方法存在真实感不足、纹理细节丢失等问题。因此，需要一种能够有效且准确地从手机扫描中创建个性化真实感3D手部化身的方法。

研究意义

本研究提出了一种通用手部模型（UHM），该模型能够普遍表示任意身份的高保真3D手部网格，并且可以通过简短的手机扫描进行个性化适应，从而生成可动画的真实感3D手部化身。这种方法具有以下重要意义：

提升用户体验‌：真实感3D手部化身能够为用户提供更加沉浸式的AR/VR体验。

降低制作成本‌：通过手机扫描而非专业3D扫描设备来创建3D手部化身，大大降低了制作成本和时间。

个性化定制‌：UHM能够根据每个人的手部特征进行个性化适应，生成独一无二的手部化身。

文献综述

3D手部模型

现有方法‌：现有的3D手部模型通常分为通用模型和个性化模型。通用模型如MANO、NIMBLE等能够表示多种身份的手部，但真实感不足；个性化模型如DHM、LiveHand等则只能表示单个身份，无法泛化。

局限性‌：传统的3D手部模型通常采用分离的跟踪和建模管道，这会导致误差累积问题。此外，现有模型在纹理表示和细节捕捉方面也存在不足。

从手机扫描创建3D手部化身

现有方法‌：近年来，一些研究开始探索从手机扫描中创建3D手部化身的方法。然而，这些方法通常依赖于复杂的捕捉设备或后处理步骤，难以实现真实感和个性化。

HARP方法‌：HARP是一种能够从手机扫描中创建3D手部化身的方法，但它依赖于MANO模型，并且在真实感和细节捕捉方面存在不足。

具体方法

通用手部模型（UHM）

模型结构‌：UHM包括IDEncoder、IDDecoder、PoseEncoder和PoseDecoder四个组件，分别用于学习身份空间先验、生成身份依赖的骨骼和顶点校正、估计3D关节旋转以及生成姿势和身份依赖的顶点校正。

同时跟踪和建模‌：UHM采用同时跟踪和建模的方法，避免了传统分离管道中的误差累积问题。

图像匹配损失函数‌：为了解决皮肤滑动问题，UHM引入了一种基于光流的图像匹配损失函数，确保顶点在语义上的一致性。

适应手机扫描

预处理‌：使用手机扫描手部，并使用2D关键点检测器和RVM获得前景掩码和3D关节坐标。

几何拟合‌：将UHM的输入（3D姿势、全局旋转、全局平移和ID代码）拟合到手机扫描数据上。

阴影去除‌：提出ShadowNet来估计阴影图，并从手机扫描中去除阴影，以生成无阴影的纹理。

纹理优化‌：通过最小化渲染图像与捕捉图像之间的L1距离和VGG损失来优化展开的纹理。

图1

标题：Universal Hand Model (UHM) 和 Authentic Hand Avatar内容：图1(a) ：展示了通用手模型（UHM），该模型能够高保真地表示任意身份（ID）的3D手部网格。图1(b) ：展示了通过适应手机扫描得到的可动画的真实3D手部化身。这些图像是使用适应后的手部化身和Phong反射模型及环境贴图渲染得到的。

图2

标题：校正的有效性内容：图示展示了模板网格（Template mesh）经过不同类型的校正后的变形效果。图2(a) ：原始模板网格。图2(b) ：应用ID依赖的骨架校正（∆¯J_id）和顶点校正（∆¯V_id）后的网格。图2(c) ：进一步应用姿势和ID依赖的顶点校正（∆¯V_pose）后的网格。图2(d) ：通过线性混合蒙皮（LBS）算法应用3D姿势后的最终变形网格。

图3

标题：UHM的整体流程内容：展示了UHM的主要组件及其数据流。包括IDEncoder、IDDecoder、PoseEncoder和PoseDecoder。估计的校正（Correctives）被应用于模板网格以进行细化，然后使用LBS算法应用3D姿势。

图4

标题：图像匹配损失函数内容：图4(a) ：展示了从中性姿势帧的多视图图像中展开的参考纹理。图4(b) ：图像匹配损失函数鼓励光栅化的网格顶点移动到目标位置，这些目标位置通过计算渲染图像和捕获图像之间的光流得到。

图5

标题：使用ShadowNet去除阴影的整体流程内容：展示了如何使用ShadowNet从手机扫描中去除阴影的过程。输入包括3D全局旋转、3D姿势Θ、ID代码z_id和视图方向，ShadowNet估计UV空间中的阴影图。通过渲染和乘以阴影图，可以从颜色校准图像中去除阴影。

图6: ShadowNet 效果展示

内容 : 展示了使用ShadowNet（左图）与不使用ShadowNet（右图）在新型光照条件下的效果对比。解释 : 在不使用ShadowNet的情况下，手机扫描中的阴影会被烘焙到纹理中，导致在新型光照条件下出现明显的伪影。而使用ShadowNet可以有效去除阴影，使得生成的手部纹理在不同光照条件下更加真实。

图7: 图像的反照率和阴影分解

内容 : 展示了使用ShadowNet对图像进行反照率（Albedo）和阴影（Shadow）分解的定性结果。解释 : 通过ShadowNet估计的阴影图与反照率图相乘，可以模拟出手部在不同光照下的阴影效果，从而提高生成手部纹理的真实感。

图8: 可动画的真实手部虚拟形象

内容 : 展示了从手机扫描生成的可动画真实手部虚拟形象。解释 : 通过将个性化的ID代码和3D姿势输入到预训练的UHM中，可以生成并动画化具有真实感的手部虚拟形象。这些虚拟形象不仅具有真实的手部形状，还具有从手机扫描中提取的个性化纹理。

图9: 不同3D手部模型的比较

内容 : 展示了我们的UHM与MANO、NIMBLE、Handy等3D手部模型在测试集上的比较结果。解释 : 通过点到面（P2S）误差的比较，可以看出我们的UHM在多个测试集上均表现出更高的保真度和更好的泛化能力，能够更准确地复现不同身份和姿势的手部3D扫描数据。

表1: 不同3D手部模型在多个测试集上的P2S误差比较

解释 : 该表比较了我们的UHM与其他通用3D手部模型（如MANO、NIMBLE、Handy）在多个测试集上的点到面（P2S）误差。P2S误差是衡量3D扫描点到模型表面平均距离的指标，反映了模型的保真度。我们的UHM在所有测试集上都表现出最低的P2S误差，表明其能更准确地复现真实手部形状。

表2: 在DHM数据集上不同视角数目的P2S误差比较

解释 : 该表比较了我们的UHM与LISA模型在DHM数据集上，使用不同视角数目时的P2S误差。随着视角数目的增加，模型的误差逐渐降低。我们的UHM在所有视角数目下均表现出更低的误差，特别是在单视角情况下优势更为明显，这体现了我们模型在有限数据下的强大泛化能力。

图10: 训练集上的不同手部虚拟形象比较

内容 : 展示了在训练集上，使用我们的方法（UHM）、HARP和Handy生成的手部虚拟形象与手机扫描的对比。解释 : 相比之下，我们的方法生成的手部虚拟形象在几何形状和纹理上都更加接近真实扫描结果，具有更高的真实感和保真度。

图11

标题：在各种手部化身上的比较（测试集）内容：展示了在测试集上，使用不同方法（包括UHM、HARP和Handy）从手机扫描生成的手部化身与原始手机扫描的对比。可以明显看出，UHM生成的手部化身在手指关节、拇指鼓起等细节上更为真实，与原始扫描更为接近。

表3: 在我们的手机扫描测试集上不同3D手部虚拟形象的定量比较

解释 : 该表比较了使用我们的方法（UHM）、HARP和Handy生成的手部虚拟形象在PSNR、SSIM、LPIPS和P2S四个指标上的表现。PSNR和SSIM衡量图像质量，LPIPS衡量感知相似性，P2S衡量几何保真度。我们的方法在所有指标上都表现出色，特别是P2S误差远低于其他方法，证明了其生成的手部虚拟形象在几何和纹理上的高度真实感。