追求通用人工智能（AGI）的道路上，赋予智能体“身体”的特质，使之能与环境互动并从中学习，是具身智能的核心所在。尽管近年来在通过数据驱动方法学习专项技能方面取得了显著成功，但针对学习并掌握广泛任务通用技能的通用机器人操控策略上仍然充满挑战。

从现实世界中收集高质量、多样化的示范数据，往往成本高昂且效率低下。而仿真可以扩大示范数据的收集范围，并简化策略评估过程。为此，顾家远博士及加州大学圣地亚哥分校相关团队开发了一种通用操控技能的仿真平台ManiSkill2。

该平台拥有超过2000个物体和400万帧示范，用于20个开箱即用的任务族；还提供了广泛的基准测试，并为社区维护了一个公开排行榜，以评估操控技能在物体层面的泛化。与ManiSkill2相关的论文收录于ICLR 2023上。

充分利用这些示范数据的关键在于开发合适的表示方法，使机器人能够灵活适应各种任务。顾家远及Google DeepMind相关团队又提出一种RT-Trajectory框架。

该框架通过结合现有示范数据集与一种创新的策略条件——轨迹草图，来探索提升任务级泛化的途径。轨迹草图描绘了机器人末端执行器所需的运动轨迹，使得策略能够以可提示的方式，快速适应具有新颖语义和运动特征的未见任务。与RT-Trajectory相关的论文收录于ICLR 2024并获得spotlight。

此外，在解决多技能移动操控（M3）问题时，顾家远博士及加州大学圣地亚哥分校相关团队提出一种模块化的方法。这种方法将一个复杂的长期任务分解为一系列子任务，并通过串联多个操控和导航技能来共同完成任务。将传统的固定操控和点目标导航技能，升级为更加灵活多变的移动操控和区域目标导航技能。相关论文收录于ICLR 2023并获得 spotlight。

4月25日上午10点，智猩猩邀请到上海科技大学助理教授、谷歌实习研究员顾家远参与「智猩猩机器人新青年讲座」第5讲，主讲《可泛化的具身智能操作技能学习》。