绑定手机号
获取验证码
确认绑定
提问
0/255
提问
订阅开课提醒需关注服务号
回答成功
知道了
扫码关注智东西公开课服务号登录
请使用微信扫描二维码
扫描二维码分享给微信好友
您已订阅成功,有新课程,我们将第一时间提醒您。
知道了
发送提问成功
回答可在
“我的——我的提问”中查看
知道了
失败
欢迎来智东西
关注我们
智东西
车东西
芯东西
智东西公开课
面向多模态大模型的具身智能平台LEGENT
智猩猩机器人新青年讲座 2024/06/20 19:00:00
课程讲师
胡锦毅 清华大学 THUNLP lab在读博士

清华大学博士生,师从孙茂松教授,研究方向为多模态大模型和具身智能体,在NeurIPS,ICLR,ACL,CVPR等顶级会议和期刊发表多篇文章。

胡锦毅
清华大学 THUNLP lab在读博士

清华大学博士生,师从孙茂松教授,研究方向为多模态大模型和具身智能体,在NeurIPS,ICLR,ACL,CVPR等顶级会议和期刊发表多篇文章。

课程提纲
  • 1、多模态大模型应用于具身智能体的挑战
  • 2、具身智能体开放平台LEGENT
  • 3、交互式3D模拟环境与具身数据生成框架
  • 4、基于LEGENT训练的视觉-语言-行为模型
  • 5、多模态大模型具身能力评测框架
课程简介

近年来,大语言模型(LLM)和多模态大模型(LMM)在理解和生成语言、图像等方面展现出令人瞩目的能力。但LLM和LMM缺乏必要的物理交互,无法很好地将其应用到以语言为基础、类似人类的具身智能体中。

而现有平台存在着数据规模不足、只专注于特定的具身任务缺少泛化性,以及与当前的 LLM 和 LMM 不兼容等诸多问题。因此,如何将大模型应用于具身智能体,使其能够在物理世界中进行感知、推理和行动,仍然面临着巨大的挑战。

针对当前挑战,清华大学孙茂松教授团队提出了一个具身智能体开放平台LEGENT,用于开发使用 LLM 和 LMM 的具身智能体。

该平台具有一个功能强大的3D模拟环境,为具身智能体提供了丰富的训练场景,从而提升其泛化能力。平台具有逼真的物理效果,如重力、摩擦和碰撞等,使具身智能体能够更好地理解物理世界的规则。

此外,LEGENT构建了一套高效的具身数据生成框架,用于场景及具身智能体行为生成。该平台采用程序化及语言引导两种方式实现场景生成;还可以生成大规模、多样化的具身智能体行为轨迹,包括第一人称视觉观察和相应动作,用于具身智能体的训练。

实验结果显示,根据 LEGENT 生成的数据训练的视觉-语言-行为模型的雏形,在具身任务中超越了 GPT-4V,展示了良好的泛化能力。

6月20日晚7点,智猩猩邀请到项目负责人、清华大学THUNLP lab在读博士胡锦毅参与「智猩猩机器人新青年讲座」第8讲,主讲《面向多模态大模型的具身智能平台LEGENT》。

精彩问答
提问
提问
目前还没有问题,可以点击右侧的“提问按钮”提问
更多问题...