对于“元宇宙（Metaverse）”的想象上限，可能就是2018年的电影《头号玩家》了。而事实上在那部电影里的角色，在进入“绿洲世界”看到自己的虚拟人物时，下意识都会通过动动双手来判断自己与这一虚拟世界的拟真度与交互尺度，但主角其实是并没有用任何手柄的。

基于视觉的手势交互，用户无需穿戴设备，具有交互方便、自然和表达丰富的优点，符合人机自然交互的大趋势，适用范围广。基于视觉的手势交互作为人机交互的重要组成部分，对实现人与VR虚拟环境自然交互具有重要意义，有广泛的应用前景。

而与单体的手势姿态估计任务不同，理解 3D 空间中的手与物体（多体）交互更具挑战性，因为它包含高自由度的关节空间、受到自身或相互之间遮挡的影响、以及需要满足复杂的物理约束。

上海交通大学机器视觉与人工智能实验室在读博士杨理欣等人发现接触可以为重建手物交互提供丰富的线索，而手在解剖学上的关节约束可以帮助我们在重建与生成时控制手部运动。在他们的一系列工作中，将接触建模为一对牵引手和物体表面顶点的“弹簧”，以及描述该接触置信度的“弹性系数”。

那么如何利用接触和关节约束生成不同的交互姿势，并迁移同类物体的不同交互呢？7月4日，「AI新青年讲座」第133讲，上海交通大学机器视觉与人工智能实验室在读博士杨理欣将主讲《基于图像的手物交互重建与虚拟人手生成》。