- 开课提醒
负责智源研究院的“具身数据创新基座”建设,主持开发了:1)面向异构本体、规范操作流程、提高研发效率的具身数据软件框架CoRobot;2)全球本体数最多、标注最细、使用最便捷的高质量双臂机器人真机数据集RoboCOIN;3)覆盖数据采集、数据标注、数据管理、模型训练、仿真评测、模型部署的全流程开发平台RoboXstudio。
负责智源研究院的“具身数据创新基座”建设,主持开发了:1)面向异构本体、规范操作流程、提高研发效率的具身数据软件框架CoRobot;2)全球本体数最多、标注最细、使用最便捷的高质量双臂机器人真机数据集RoboCOIN;3)覆盖数据采集、数据标注、数据管理、模型训练、仿真评测、模型部署的全流程开发平台RoboXstudio。
电子科技大学计算机科学与工程学院硕士研究生,师从高联丽教授。目前在北京智源人工智能研究院具身数据团队担任实习研究员。研究方向为具身智能与多模态,相关工作发表在CVPR、ICLR、IJCV等顶级会议和期刊。获得国家奖学金,四川省优秀毕业生拟推荐等荣誉。
电子科技大学计算机科学与工程学院硕士研究生,师从高联丽教授。目前在北京智源人工智能研究院具身数据团队担任实习研究员。研究方向为具身智能与多模态,相关工作发表在CVPR、ICLR、IJCV等顶级会议和期刊。获得国家奖学金,四川省优秀毕业生拟推荐等荣誉。
- 机器人操作数据集发展路径与行业核心痛点
- RoboCOIN数据集核心特性与规模优势
- CoRobot支撑框架关键组件与功能实现
- 实验设计与核心结果分析
- 局限性与未来发展方向
在机器人操作领域,拟人化双臂协同操作是实现复杂任务的关键,但现有数据集普遍存在多本体覆盖不足、结构化标注缺失、开放易用性差等核心痛点,制约了机器人操作技能的高效学习与泛化。机器人数据集已历经 “单任务虚拟数据”和“规模化单臂多本体数据” 两大阶段,当前双臂操作探索阶段仍缺乏统一、开放的高质量数据集支撑。
为此,北京智源人工智能研究院联合联合蚂蚁天玑实验室、银河通用、乐聚、星海图、智平方、睿尔曼等企业,以及清华大学、北京大学、电子科技大学、斯坦福大学等高校,发布了双臂机器人真机数据集RoboCOIN,是全球本体数最多、标注最精细、使用最便捷的高质量双臂机器人真机数据集。
RoboCOIN覆盖15种机器人平台、18万+高质量演示轨迹、421个任务及16类场景,涵盖刚性、铰链、柔性等多种物体操作。RoboCOIN创新采用分层标注体系:轨迹级标注、片段级标注、帧级标注,实现了结构化语义与空间关系的精准刻画。
为了有效支持RoboCOIN的数据构建和部署基础设施,该团队进一步开发了CoRobot框架,包含三个关键组件:1)RTML 轨迹质量评估语言;2)半自动化标注工具链;3)多本体统一平台及一键安装工具集。CoRobot能够大幅降低数据集使用门槛,仅需一行代码"pip install robocoin",真正做到开箱即用。
研究人员从以下三个方面进行了全面的评估:
RQ1.RoboCOIN数据集在不同VLA和双臂机器人本体上的泛化性如何?
RQ2.所提出的分层标注体系能否提升VLA的性能?
RQ3.RTML在提升数据质量和模型性能方面有多大作用?
实验结果验证表明,RoboCOIN数据集在多模型、多平台上具备良好泛化性,分层标注可使复杂任务成功率提升50%,RTML过滤能有效剔除35.3% 低质量轨迹。
RoboCOIN以开放、共建、共享为核心理念,构建了全开源生态,为机器人双臂操作研究提供标准化基准,降低研发成本,加速机器人在真实场景的落地应用。
2月5日晚7点,「智猩猩×智源研究院具身智能技术公开课」第2期将开讲。由RoboCOIN项目负责人&通讯作者、智源研究院具身数据负责人姚国才,RoboCOIN一作、智源研究院具身数据团队实习研究员吴世涵两位老师主讲,以《面向一体化操作的大规模开源双臂机器人数据集RoboCOIN》为主题进行实时视频讲解与答疑互动。