绑定手机号
确认绑定
-
-
-
- 课程回放
视觉推理与具身智能
智猩猩机器人新青年讲座 2024/04/02 19:00:00
课程讲师
主要研究方向为人类行为理解、视觉推理、具身智能，代表工作为开源系统HAKE、AlphaPose，发表顶刊顶会论文30余篇（TPAMI、NeurIPS、CVPR、ICCV、ECCV、IJCV等），开源项目20余项，总1.2万Stars。担任多种会议和期刊的审稿人（TPAMI、CVPR、NeurIPS、ICCV、ICLR、ICML、ECCV、AAAI）。曾获吴文俊人工智能科学技术奖-优秀博士论文奖、百度奖学金（全球十人）、WAIC云帆奖-璀璨明星（全球十人）、WAIC云帆奖-明日之星（全球十人）、NeurIPS’21/22杰出审稿人、2020华人学生AI百人（机器学习top-10，全球十人）、上海市优秀毕业生、上海交通大学85届计算机系教育发展基金暨杨元庆教育基金优秀博士生等荣誉。
李永露
上海交通大学 长聘教轨助理教授、博导
主要研究方向为人类行为理解、视觉推理、具身智能，代表工作为开源系统HAKE、AlphaPose，发表顶刊顶会论文30余篇（TPAMI、NeurIPS、CVPR、ICCV、ECCV、IJCV等），开源项目20余项，总1.2万Stars。担任多种会议和期刊的审稿人（TPAMI、CVPR、NeurIPS、ICCV、ICLR、ICML、ECCV、AAAI）。曾获吴文俊人工智能科学技术奖-优秀博士论文奖、百度奖学金（全球十人）、WAIC云帆奖-璀璨明星（全球十人）、WAIC云帆奖-明日之星（全球十人）、NeurIPS’21/22杰出审稿人、2020华人学生AI百人（机器学习top-10，全球十人）、上海市优秀毕业生、上海交通大学85届计算机系教育发展基金暨杨元庆教育基金优秀博士生等荣誉。
课程提纲
- 1、具身智能的物体与人类行为概念理解
- 2、交互行为中的逻辑与推理
- 3、具身智能的初步应用
- 4、未来展望
课程简介
对于人类行为的深入理解是具身智能发展的关键，这一过程可以被视为从行为的物理维度到语义维度的转换。研究者们通常基于特定的标准来定义行为类别构建各自的数据集。但这些数据集往往互不兼容，形成了一座座“孤岛”。
为解决当前问题，上海交大助理教授李永露及RHOS团队提出一种结构化的行为语义空间，该语义空间整合了图像、视频、骨架和动作捕捉数据集形成了统一的数据库，并采用统一标签系统将分散的“孤岛”连接成一片“盘古大陆”。相关论文《From Isolated Islands to Pangea: Unifying Semantic Space for Human Action Understanding》收录于CVPR 2024。
此外，对于具身智能而言，在学习更高层次的物体知识方面仍然面临困难。上海交大助理教授李永露及RHOS团队提出了一个具有挑战性的物体概念学习（Object Concept Learning，OCL）任务。通过分析OCL的因果结构，又提出了一个基准模型“物体概念推理网络”（OCRN）。与OCL相关的论文《Beyond Object Recognition: A New Benchmark towards Object Concept Learning》收录于ICCV 2023上。
4月02日晚7点，智猩猩邀请到上海交通大学长聘教轨助理教授、博导李永露参与「智猩猩机器人新青年讲座」第4讲，主讲《视觉推理与具身智能》。
李老师将重点讲解RHOS团队在环境感知、视觉推理和具身智能相关领域的研究工作，以机器人、人、物体和环境为出发点，展示从团队know-what、know-how、practice三阶段的思路及最新成果。
精彩问答
提问
提问
