在开放世界中构建感知、推理并行动的具身智能系统，依然是一项宏大的挑战。这要求系统能够在高度动态、不确定的真实环境下，实现从多模态感知到结构化认知、再到可泛化行动的精准映射与实时协同。

「智猩猩具身智能机器人系列公开课」第1期邀请到新加坡科技研究局研究科学家李仕杰，于12月19日晚7点进行实时视频讲解与答疑互动，主题为《开放世界中具身智能的主动感知与推理》。内容涵盖从统一的2D视觉-语言理解，到结构化的3D推理，再到更高层次的前瞻性预测。

李仕杰博士首先从2D感知出发，重新思考多模态模型中的视觉分词方式与认知推理机制，使模型从单纯的识别走向可解释的理解。其次，会深入探讨在3D领域，智能体如何在真实物理世界中感知并推理空间结构，将语言与几何进行对齐，并通过自主驱动的好奇心不断学习。最后，李仕杰博士将进一步扩展到高层次的想象与前瞻，使模型具备推断未见结构、预测未来事件、以及在动态环境中进行因果推理的能力。

整体来看，这些研究正在打通感知、推理与想象三者之间的鸿沟，为能够理解并与复杂、不断变化的真实世界互动的具身智能体奠定基础。