机器人在复杂环境中完成长时间任务的能力，对于机器人能否更好地融入人们生活来说至关重要。目前，很多机器人在执行任务过程中不能及时发现错误并调整，而是继续执行，最终导致任务失败。那么，如何让机器人对错误进行自动检测和避免，也成了机器人顺利完成长时间任务的关键。

在LLMs和VLMs的加持下，一些研究已经可以实现开放式的被动错误检测，但这些方法往往无法兼顾执行速度和检测精度。相比之下，开放式的主动错误检测需要提前预测可能出现的问题，并进行高精度地实时风险监测，预判并避免失败。而仅仅对现有的LLMs/VLMs进行简单调整适配则很难达到实时精确的高要求。

为此，银河通用机器人联合北京航空航天大学等提出了一种开放集（Open-set）错误检测框架Code-as-Monitor。该方法从时空约束的角度出发，提出了机器人错误检测的新范式。其中，北京航空航天大学研究生、北京智源人工智能研究院实习研究员周恩申为论文第一作者，相关文章已被顶级会议CVPR 2025 以全正分接收。

Code-as-Monitor统一了被动错误检测（即错误发生后的检测与恢复）与主动错误检测（即预判并防范潜在错误），引入了一种用于表征相关物体及其部件的约束元素，以增强时空约束的实时跟踪与精确计算；同时提升物体及场景级别的泛化能力。该方法可无缝集成至任意开环策略，构建闭环系统。在多个仿真与真实实验中，该方法均展现出当前最优（SOTA）性能。

研究团队在UR5 机械臂搭配灵巧手上进行了实验，探索了Code-as-Monitor在各类未知场景中，面对包括柔性物体、透明物体在内的未知物体时的抓取任务表现。实验表明，与基线方法DoReMi相比，Code-as-Monitor 能更有效地抽象约束和相关实体，展现出更强的泛化能力。如下视频demo是让机器人抓取桌面上的所有物体；并对其进行人为干扰。

更厉害的是，团队又在杂乱场景下让机器人执行长时序任务，并在过程中加入各种干扰。实验结果表明，Code-as-Monitor 通过结合被动与主动的错误检测，将原本的开环策略转化为一个闭环系统，能够实时应对环境中的动态变化和干扰。

如下视频demo是让机器人完成按动物距离水果的从远到近的距离，抓取桌面上的所有动物的任务；并对其进行人为干扰。可以看到，即使测试人员在不断调整动物和水果的位置，机器人依旧能准确而快速地判断出哪个动物是离水果最近的，并成功抓取。

3月14日晚7点，智猩猩邀请到论文一作、北京航空航天大学研究生、北京智源人工智能研究院实习研究员周恩申参与「智猩猩AI新青年讲座具身智能专题」第23讲，以《时空智能助力具身智能：基于时空约束的机器人错误检测新范式》为主题带来直播讲解。

讲者

周恩申，北京航空航天大学研究生、北京智源人工智能研究院实习研究员

北京航空航天大学软件学院研究生，师从盛律副教授。曾在上海人工智能实验室和北京银河通用机器人有限公司担任实习研究员。目前主要研究基于多模态大模型的具身智能。在CVPR，AAAI等顶级会议上，以第一作者或者共同第一制作者发表多篇论文。

第 23 讲

 主 题 

《时空智能助力具身智能：基于时空约束的机器人错误检测新范式》

 提 纲 

1、机器人错误检测背景概述

2、时空约束统一主动和被动的错误检测新范式Code-as-Monitor

3、约束元素实现精确实时错误检测的新表征

4、基于约束的多粒度分割大模型ConSeg

5、实验分析和Demo展示

 直 播 信 息 

直播时间：3月14日19点

成果

论文标题

《Code-as-Monitor: Constraint-aware Visual Programming for Reactive and Proactive Robotic Failure Detection》

论文链接

https://arxiv.org/abs/2412.04455

项目地址

https://zhoues.github.io/Code-as-Monitor

收录情况

CVPR 2025 以全正分接收

如何报名与入群

有讲座直播观看需求的朋友，可以扫码添加小助手莓莓，发送私信“具身智能23”进行报名，报名通过后将给到直播地址。

针对此次讲座，也有组建学习群。希望入群参与探讨的，也可以与莓莓进行申请。