抓取是机器人的基本和重要的任务之一。机器人抓取所必须的信息是相机坐标系下抓取器的6DoF位姿，包括抓取器的3D位置和抓取器的3D空间朝向，通过控制机械臂的移动使抓取器到该位置和旋转，然后执行抓取操作。而基于视觉的机器人抓取，是通过给机器人安装RGB-D相机，利用人工智能算法，获取抓取器的目标抓取位姿，按照抓取方式的不同，可以分为2D平面抓取和6D空间抓取。

2D平面抓取是指目标物体放置在水平工作台上，抓取器只能从一个方向进行抓取。而6D空间抓取是指抓取器可以在3D空间从各个角度抓取物体。两种抓取方式，自然有不同的实现方法。

2D平面抓取因为存在一些限制，抓取器的6D位姿可简化为3D，包括平面内的2D位置和平面内的1D旋转角度，主要分为评估抓取接触点质量和评估带朝向的抓取四边形两种方法。

6D空间抓取按照依赖物体的完整形状还是物体的部分点云，又可以分为基于部分点云的方法和基于完整形状的方法。当前大多数6D空间抓取都是针对已知3D模型的物体，这些物体的最优抓取位置可以通过人工指定货仿真预先得到，此时，6D空间抓取就转化为了估计物体的6D位姿。

同时，由于大部分机器人抓取的方法都需要先输入数据然后才能获得目标物体的位置，因此又可以分为三个阶段：物体定位、位姿估计和抓取位姿估计。那么基于视觉的机器人抓取到底需要什么样的技术呢？又有什么样的方法呢？不同的方法之间又有哪些优劣势呢？11月6日晚8点，智东西公开课邀请到达闼科技3D研发负责人、北京师范大学博士杜国光参与到「CV前沿讲座」第22讲，带来主题为《基于视觉的机器人抓取-从物体定位、位姿估计到抓取位姿估计》的直播讲解。

杜国光博士将深度解析基于视觉进行机器人抓取中所涉及的三大模块，包括物体定位、物体位姿估计和抓取位姿估计。其中，物体定位包括定位不识别、目标检测以及目标实例分割；物体位姿估计包括基于对应的方法、基于模板的方法以及基于投票的方法；抓取位姿估计分为2D平面抓取和6D抓取。在最后，杜博也会详解传统的方法和基于深度学习的方法，并对相关方法进行对比，指出未来的研究方向与挑战。

杜国光，北京师范大学博士，目前是达闼科技3D研发负责人。他的研究方向为3D视觉感知，包括3D检测/分割、物体6D位姿估计、机器人抓取等，并在相关期刊和会议上发表论文二十余篇。