机器人在复杂环境中完成长时间任务的能力，对于机器人能否更好地融入人们生活来说至关重要。目前，很多机器人在执行任务过程中不能及时发现错误并调整，而是继续执行，最终导致任务失败。那么，如何让机器人对错误进行自动检测和避免，也成了机器人顺利完成长时间任务的关键。

在LLMs和VLMs的加持下，一些研究已经可以实现开放式的被动错误检测，但这些方法往往无法兼顾执行速度和检测精度。相比之下，开放式的主动错误检测需要提前预测可能出现的问题，并进行高精度地实时风险监测，预判并避免失败。而仅仅对现有的LLMs/VLMs进行简单调整适配则很难达到实时精确的高要求。

为此，银河通用机器人联合北京航空航天大学等提出了一种开放集（Open-set）错误检测框架Code-as-Monitor。该方法从时空约束的角度出发，提出了机器人错误检测的新范式。其中，北京航空航天大学研究生、北京智源人工智能研究院实习研究员周恩申为论文第一作者，相关文章已被顶级会议CVPR 2025以全正分接收。

Code-as-Monitor统一了被动错误检测（即错误发生后的检测与恢复）与主动错误检测（即预判并防范潜在错误），引入了一种用于表征相关物体及其部件的约束元素，以增强时空约束的实时跟踪与精确计算；同时提升物体及场景级别的泛化能力。该方法可无缝集成至任意开环策略，构建闭环系统。在多个仿真与真实实验中，该方法均展现出当前最优（SOTA）性能。

研究团队在UR5 机械臂搭配灵巧手上进行了实验，探索了Code-as-Monitor在各类未知场景中，面对包括柔性物体、透明物体在内的未知物体时的抓取任务表现。实验表明，与基线方法DoReMi相比，Code-as-Monitor 能更有效地抽象约束和相关实体，展现出更强的泛化能力。如下视频demo是让机器人抓取桌面上的所有物体；并对其进行人为干扰。

更厉害的是，团队又在杂乱场景下让机器人执行长时序任务，并在过程中加入各种干扰。实验结果表明，Code-as-Monitor 通过结合被动与主动的错误检测，将原本的开环策略转化为一个闭环系统，能够实时应对环境中的动态变化和干扰。

如下视频demo是让机器人完成按动物距离水果的从远到近的距离，抓取桌面上的所有动物的任务；并对其进行人为干扰。可以看到，即使测试人员在不断调整动物和水果的位置，机器人依旧能准确而快速地判断出哪个动物是离水果最近的，并成功抓取。

3月14日晚7点，智猩猩邀请到论文一作、北京航空航天大学研究生、北京智源人工智能研究院实习研究员周恩申参与「智猩猩AI新青年讲座具身智能专题」第23讲，以《时空智能助力具身智能：基于时空约束的机器人错误检测新范式》为主题带来直播讲解。