手部姿态估计是通过分析手部特写图像来预测手部的姿态，包括手指和手掌的2D或3D关键点的位置。目前主流的技术方案是使用马普所于2017年提出的 MANO（Model for Articulated Hands）参数化模型，通过回归来估计手部关键点的3D坐标。结合深度学习和 MANO 参数化模型，仅凭一张手部图像，就能预测出手部的 2D 或 3D 姿态，在 UE5、Unity 等引擎中实现手势驱动的功能。

使用 3D 手部姿态估计可以驱动 3D 数字人物的交互。相比传统的动作捕捉手套等方法，基于参数化模型的手部姿态估计具有成本低、效率高的优势，只需要一个百元级的摄像头即可实现。

然而，由于 MANO 模型的顶点数较少，无法精确模拟 3D 手势等细节，因此一些团队，如 Meta 和小冰等，结合 NeRF（Neural Radiance Fields）技术进行了 3D 手部隐式建模，以解决这些问题。这也为虚拟现实、增强现实、具身智能等的交互提供了更加便捷和准确的手部动作控制方式，具有广阔的应用前景。

6月28日晚7点，智东西公开课教研组推出「3D 手部重建及具身智能交互在线研讨会」。本次研讨会由 DeepFaceLab 作者高岱恒担任出品人进行出品策划，同时也邀请了小冰公司算法研究员陈星宇和上海交通大学（MVIG）在读博士杨理欣参与主讲。本次直播将分别围绕 3D 手部参数化模型发展，以及两篇 CVPR 2023 成果：NeRF 隐式 3D 手部建模方法 HandAvatar 和显式手部重建方法 POEM 及其具身智能操作交互学习应用进行深度讲解。

出品人：

高岱恒，DeepFaceLab作者（Github 4w star），在NeurIPS、CVPR等会议上发表过论文，Tensorflow、PyTorch 内核 Contributor。

DeepFaceLab 作者高岱恒：3D 手部参数化模型的发展和总结

基于单张图像回归 3D 手部 Pose 或者 Mesh 的任务通常离不开 3D 参数化手部模型的帮助。其中，MANO 是目前为止最常用的手部参数化模型。

本次分享将讨论和分析 3D 手部参数化模型的发展史以及未来可能的发展方向。

小冰公司算法研究员陈星宇：基于 NeRF 的隐式 3D 手部建模方法 HandAvatar

近年来，基于神经渲染的虚拟人技术在人体建模方面取得了许多重要进展。与人体和人脸相比，手部的铰链结构更加复杂，使得任意姿态的下隐式几何建模更加困难，同时也导致了复杂的自遮挡现象，使得光照建模更加困难。

本次分享将讲解发表在 CVPR 2023 上的 Hand Avatar，一种基于神经渲染的手部建模方法。该方法能够准确地建模任意姿态下的手部几何形状以及自遮挡情况下的光照信息，从而提高手部图像渲染的真实感。

上海交通大学机器视觉与人工智能实验室（MVIG）在读博士杨理欣：通过建模手物交互来学习具身智能操作

本次分享分为两个部分。第一部分将分享我们在手部重建研究方向的最新工作 POEM：Reconstructing Hand in a Point Embedded Multi-view Stereo（CVPR 2023）。

第二部分将利用我们在手物交互建模方面的研究成果，来理解复杂操作行为的时空因果关系，探索具身智能在理解、模仿和学习人类操作行为方面的潜力。

我们正在努力构建一个针对操作的概念系统，其中包括利用大规模语言模型驱动的概念编程，以及通过人类演示来将虚拟概念具像化。