绑定手机号
获取验证码
确认绑定
提问
0/255
提问
订阅开课提醒需关注服务号
回答成功
知道了
扫码关注智猩猩服务号登录
请使用微信扫描二维码
扫描二维码分享给微信好友
您已订阅成功,有新课程,我们将第一时间提醒您。
知道了
发送提问成功
回答可在
“我的——我的提问”中查看
知道了
失败
欢迎来智东西
关注我们
智东西
车东西
芯东西
智猩猩
HYPERmotion:结合语言模型实现人形机器人自主行为规划
智猩猩具身智能前沿讲座 2024/10/24 19:00:00
课程讲师
王进 意大利技术研究院 博士生研究员

师从Nikos Tsagarakis,是HHCM实验室的一员。其主要研究兴趣为机器人学习、具身智能以及仿人机器,具体为人形机器人的自主移动操作,在机器人任务中融合基础模型并通过学习的方式提高机器人的自主性。部分研究发表在IROS、ICRA、CoRL等机器人相关会议。

王进
意大利技术研究院 博士生研究员

师从Nikos Tsagarakis,是HHCM实验室的一员。其主要研究兴趣为机器人学习、具身智能以及仿人机器,具体为人形机器人的自主移动操作,在机器人任务中融合基础模型并通过学习的方式提高机器人的自主性。部分研究发表在IROS、ICRA、CoRL等机器人相关会议。

课程提纲
  • 1、利用RL与全身模型预测控制生成人形机器人全身动作
  • 2、基于LLM分解复杂操作任务构建层次化任务图
  • 3、结合VLM选择机器人形态和相应动作
  • 4、在仿真和真实环境的实验中效果展示及分析
课程简介

控制人形机器人执行复杂的全身动作是机器人学领域的一个重大挑战。尽管,在人形机器人元年,一些研究推动人形机器人在全身控制方面取得了显著进展,但在执行复杂任务和适应性方面仍然面临诸多问题。

为此,意大利技术研究院(iit)博士生研究员王进等提出用于不同场景中基于任务学习、选择和规划行为的框架HYPERmotion。相关论文成果收录于CoRL 2024。

该框架能够结合强化学习与全身模型预测控制生成人形机器人全身动作,并将其开发为运动库中的一种技能。此外,通过将LLMs的在线规划和推理功能应用于复杂的移动操作任务,还形成了一个包含一系列基本行为的层次化任务图,以桥接低级执行和高阶自动化规划。通过利用提炼的空间几何和2D观测与VLM的交互,将知识嵌入构建的机器人形态选择器中,从而选择单臂或双臂、腿式或轮式运动的适当动作。

通过在仿真和现实环境中进行大规模实验,HYPERmotion展示了机器人所学的全身技能可以高效适应新任务,表现出从自由文本指令中获得的高自主性,并在非结构化场景中进行规划。

此外,王进博士等研究人员又提出基于LLM的人形机器人自主行为规划框架,机器人能够根据文本指令自主规划行为和低级执行,并观察和纠正任务执行中的失败。该框架提高了机器人在非结构化环境中的行动规划能力。王进博士等研究人员还设计了包含动作行为和感知行为的机器人行为库,将复杂任务分解为可执行的子任务,提高了任务执行的可靠性和可解释性。相关论文成果收录于IROS 2024。

10月24日晚7点,智猩猩邀请到意大利技术研究院(iit)博士生研究员王进参与「智猩猩具身智能前沿讲座」第14讲,主讲《HYPERmotion:结合语言模型实现人形机器人自主行为规划》。

精彩问答
提问
提问
目前还没有问题,可以点击右侧的“提问按钮”提问
更多问题...