扩散模型虽然在轨迹规划方面展示了巨大潜力，但如何从抽象的人类语言指令生成连贯的轨迹，尤其是在需要多个连续技能组合的长视野任务中，仍然是一个难题。

为了解决以上问题，香港大学计算机系HKU-MMLAB在读博士梁志烜提出了端到端层次化规划框架SkillDiffuser，用于解决机器人轨迹规划中的挑战。相关论文为《SkillDiffuser: Interpretable Hierarchical Planning via Skill Abstractions in Diffusion-Based Task Execution》，已收录于CVPR 2024。

在多任务学习环境中，SkillDiffuser通过集成高层可解释的技能学习与低层条件扩散规划，来解决机器人轨迹规划问题。

在高层，技能抽象模块从视觉观察和语言指令中学习到离散的、人类可理解的技能表征。这些学习到的技能嵌入用于条件化扩散模型，用来生成与技能对齐的定制潜在轨迹，也就是符合可学习技能的多样化状态轨迹。

通过以上整合技能学习与条件轨迹的生成方法，SkillDiffuser能够根据抽象指令在多样化任务中产生连贯的行为。

在多任务机器人操控基准测试集如Meta-World和LOReL上的实验表明，SkillDiffuser展示了业界领先的性能和人类可理解的技能表征。

7月2日10点，智猩猩邀请到论文一作、香港大学计算机系HKU-MMLAB在读博士梁志烜参与「智猩猩AI新青年讲座」242讲，主讲《利用技能学习的扩散策略实现层次化机器人轨迹生成》。