目前，基于LLM的AI Agent正处于快速发展的阶段，但许多基于纯文本或游戏引擎设计的AI Agents，在虚拟仿真场景中接触到的世界和人类生活的真实世界有极大差距。为了开发能够在真实世界中灵活、可靠运行的AI Agents，我们必须缩小这一差距，实现AI Agent与真实世界感知与交互。

虽然该问题已在机器人领域得到了一定的研究，使AI Agent在物理世界中得到了具体化的应用。但真实硬件的物理限制和高昂成本，阻碍了其在实验室以外的多种环境中进行测试和规模化应用。

为了解决这个问题，香港大学CVMI Lab联合纽约大学提出了一个将真实世界融入虚拟环境的AI Agent平台V-IRL。该平台将真实世界的地图、街景等各种信息融入AI Agents所在的虚拟世界，让它们在此平台上获取真实世界的视觉数据，并与真实环境进行交互，加速了AI Agent以及具身智能机器人在真实世界的落地。

具体而言，V-IRL引入了一个可扩展的平台，利用地图、地理空间和街景图像等API，将AI Agents嵌入真实城市环境中进行交互，为它们提供了更真实且完整的生活体验。基于V-IRL平台展示了实例化的8个示例AI Agents，能够在城市中执行各种复杂任务，如城市导航、地点推荐、探索目标和互动等真实情况。

此外，通过AI Agents评估改进模型在处理现实世界数据和执行复杂任务方面的能力，也为全球范围内的AI Agent和开放世界中计算机视觉的研究提供了实践场所。

6月6日晚上7点，智猩猩邀请到论文一作、香港大学CVMI Lab在读博士杨霁晗参与「智猩猩AI新青年讲座」第238讲，主讲《V-IRL：根植于真实世界的AI Agents》。