绑定手机号
获取验证码
确认绑定
提问
0/255
提问
订阅开课提醒需关注服务号
回答成功
知道了
扫码关注智东西公开课服务号登录
请使用微信扫描二维码
扫描二维码分享给微信好友
您已订阅成功,有新课程,我们将第一时间提醒您。
知道了
发送提问成功
回答可在
“我的——我的提问”中查看
知道了
失败
欢迎来智东西
关注我们
智东西
车东西
芯东西
智东西公开课
使用大语言模型构建合作型具身智能体
智猩猩AI新青年讲座 2024/04/12 10:00:00
课程讲师

师从淦创教授。研究兴趣为具身智能,人机交互,自然语言处理。在ICLR, NeurIPS, ACL, EMNLP等会议上发表有多篇论文。为NeurIPS, CVPR,ACL等会议担任审稿人。

师从淦创教授。研究兴趣为具身智能,人机交互,自然语言处理。在ICLR, NeurIPS, ACL, EMNLP等会议上发表有多篇论文。为NeurIPS, CVPR,ACL等会议担任审稿人。

课程提纲
  • 大语言模型在智能体领域的应用现状概述
  • 利用大语言模型构建模块化具身智能体CoELA
  • CoELA的五个核心模块协作流程
  • 实验结果分析及展望
课程简介

近来,大型语言模型(LLMs)在单智能体决策中取得了令人印象深刻的表现,并且可以为机器人控制设计奖励函数。但目前的具身智能体亦或缺乏彼此间的有效交流合作能力,亦或行为不能被人类理解,给人与智能体之间的协作带来了很大的阻碍,且LLMs是否具备多智能体协作所必需的能力也仍尚未明确。

针对以上问题,马萨诸塞大学阿默斯特分校在读博士张洪鑫利用如今大语言模型丰富的世界常识、自由形式语言生成(free-form language generation)、复杂推理等能力,构建了基于LLMs的具身智能体CoELA,以在具有挑战性的分散环境中完成长期多目标任务,最终实现了与其他智能体和人类进行高效的计划、通信与合作的功能。相关论文《Building Cooperative Embodied Agents Modularly with Large Language Models》已收录于ICLR 2024。

CoELA由五个关键模块组成:

(1)感知模块:处理传感器获得的外部原始数据,更新记忆模块的存储信息;

(2)记忆模块:模仿人类的长期记忆,以语义、情景和程序记忆的形式存储智能体关于世界和他人的事实与经历;

(3)沟通模块:首先从记忆模块检索相关信息,引导LLMs利用其强大的自由形式语言生成能力生成最佳信息;

(4)决策模块:利用LLMs的强大推理能力 ,根据从记忆模块中检索的相关信息和针对当前状态决定采取的方案,生成的决策会再次更新记忆模块;

(5)执行模块:检索记忆模块中存储的程序知识,将高级计划转化为可在环境中执行的基本行动。

4月12日上午10点,智猩猩邀请到论文一作、马萨诸塞大学阿默斯特分校在读博士张洪鑫参与「AI新青年讲座」234讲,主讲《使用大语言模型构建合作型具身智能体》。

精彩问答
提问
提问
目前还没有问题,可以点击右侧的“提问按钮”提问
更多问题...