微软研究团队开发全身3D化身解决方案 基于VR头显捕获数据

近日，微软旗下Mixed Reality & AI Lab研究团队基于头显捕获的头部和手部追踪数据开发了“FLAG：Flow-based Avatar Generation from Sparse Observations”解决方案，通过VR头显获得的头部和手部追踪数据，可生成佩戴者的全身3D化身。

据了解，微软HoloLens和Meta Quest等头显获得的追踪数据仅限于对头部以及手部的位置和方向的预测，不能表现人体全身，因此很难生成逼真3D化身。微软研究团队开发的解决方案可以从这些头显信号中生成合理的全身人体姿势，并解决这个问题。

所述系统具体而言基于流模型解析给定头部和手部动作数据，该模型能够实现3D姿势分布和基础分布之间的可逆映射。此外，它不仅能学习3D人体的条件分布，还能从观测数据中学习潜在空间的概率映射，并由此进行关节的不确定性估计，生成合理的姿势。

值得一提的是，通过实验评估和消融研究，该方法优于大型运动捕捉数据集AMASS的最新方案，该数据集以SMPL人体模型模拟多种全身姿势，以误差极低、优化较少著称。

赞助本站