近年来，大语言模型（LLM）和多模态大模型（LMM）在理解和生成语言、图像等方面展现出令人瞩目的能力。但LLM和LMM缺乏必要的物理交互，无法很好地将其应用到以语言为基础、类似人类的具身智能体中。

而现有平台存在着数据规模不足、只专注于特定的具身任务缺少泛化性，以及与当前的 LLM 和 LMM 不兼容等诸多问题。因此，如何将大模型应用于具身智能体，使其能够在物理世界中进行感知、推理和行动，仍然面临着巨大的挑战。

针对当前挑战，清华大学孙茂松教授团队提出了一个具身智能体开放平台LEGENT，用于开发使用 LLM 和 LMM 的具身智能体。

该平台具有一个功能强大的3D模拟环境，为具身智能体提供了丰富的训练场景，从而提升其泛化能力。平台具有逼真的物理效果，如重力、摩擦和碰撞等，使具身智能体能够更好地理解物理世界的规则。

此外，LEGENT构建了一套高效的具身数据生成框架，用于场景及具身智能体行为生成。该平台采用程序化及语言引导两种方式实现场景生成；还可以生成大规模、多样化的具身智能体行为轨迹，包括第一人称视觉观察和相应动作，用于具身智能体的训练。

实验结果显示，根据 LEGENT 生成的数据训练的视觉-语言-行为模型的雏形，在具身任务中超越了 GPT-4V，展示了良好的泛化能力。

6月20日晚7点，智猩猩邀请到项目负责人、清华大学THUNLP lab在读博士胡锦毅参与「智猩猩机器人新青年讲座」第8讲，主讲《面向多模态大模型的具身智能平台LEGENT》。