欢迎光临中国机器人网站,我们致力于各行业应用研究

【了解机器人的样子和功能】机器人捕获总结|目标检查、分割、姿势识别、捕获点检查、路径计划

作者:安尼      发布时间:2021-04-23      浏览量:0
最近读了机器人捕获相关内容的文章,觉得很

最近读了机器人捕获相关内容的文章,觉得很好,总结了方法和知识点。本文总结了基于视觉的机器人捕获技术,总结了机器人捕获过程中的四个重要任务:目标定位、姿势估计、捕获检测和运动计划。具体来说,目标定位包括目标检测和分割方法,姿势估计包括RGB和RGBD的方法,抓取检测包括传统方法和深度学习方法,运动计划包括分析方法、模拟学习方法和强化学习方法。另外,很多方法共同完成了目标检查结合6D姿势推定、无姿势推定的抓取检查、端到端抓取检查、端到端运动计划等任务。本文对这些方法这些方法,并总结了相关数据集,比较了各项任务的最新方法。提出了机器人抓取面临的挑战,并指出了今后解决这些挑战的方向。

为了完成机器人的捕获任务,机器人首先需要感知物体。随着传感器设备的发展,现在的机器人配备了RGB照相机和深度照相机,获得了丰富的环境信息。但是,原始RGB-D图片对于机器人来说是一个简单的数字网格,在这里需要提取高层次的语义信息来实现视觉感知。要抓住的目标对象的上层信息通常包括位置、方向和抓住位置。然后计算抓取计划,实施物理抓取。赋予机器人感知能力是计算机视觉和机器人学科的长期目标。抓住机器人不仅意义重大,而且已经被研究过了。机器人捕获系统由捕获检测系统、捕获计划系统和控制系统构成。其中,抓住检查系统是重要的入口点,分为目标定位、姿势估计和抓住检查点三个任务。结合抓取计划,详细介绍四项任务。

初期的方法假设要抓住的对象放在背景简单的清洁环境中,简化对象定位任务,在比较复杂的环境中能力相当有限。一些目标检测方法利用机器学习方法训练基于手动二维说明符的分类器。但由于手工制作的描述符的限制,这些分类器的性能有限。近年来,深度学习开始主导图像相关任务,如目标检测和分割。另外,从RGB图片到深度图片的培训数据,以及二维或三维输入的深度学习网络,大大提高了目标定位的性能,促进了机器人抓取技术的发展。可以利用目标物的位置进行捕获检查。早期的分析方法是直接分析输入数据的几何结构,根据力量闭合或形状闭合寻找合适的抓取点。但是,分析方法有时间、计算困难等问题。随后,伴随着大量维模型的出现,可以分析数据驱动的方法,将三维模型数据库的抓取转移到目标对象。Bohg等人介绍了数据驱动的捕获方法,根据捕获配置计算了已知、熟悉还是未知的对象,将这些方法分为三组。一般来说,目标物的6D姿势是完成这项任务的关键。无论是根据RGB图片的方法还是根据深度图片的方法,都可以实现精准的姿势报价。但是,这些方法的一部分配置方法容易受到传感器噪音和不完整数据的影响。通过深入学习方法,可以直接或间接地从输入数据中估算姿势,从而获得对传感器噪声或不完整数据的抵抗力。基于深入学习的方法也存在,不需要6D姿势进行捕获检查。抓取结构可通过深卷积网直接或间接返回。Caldera等人回顾了基于深入学习的机器人抓住检查方法。他们讨论了深入学习方法的各要素如何提高机器人抓住检查的整体性能。另外,监督学习法、强化学习法也用于直接完成玩具组装等特定任务。

四项基本任务

以下从目标定位、姿势估计、抓点检查、抓点计划四个方面详细介绍机器人抓点系统的主要内容。

目标定位(Objectlocalization)

大多数捕获方法首先需要计算目标在输入图像数据中的位置。这涉及到目标检测和分割技术。目标检测提供目标受众的矩形围挡,目标分割提供目标对象的正确界限。后者提供了更准确的对象区域说明,其计算更耗时。

对于2D目标检查,主要包括SIFT、SURF、FasterfrCNN、YOLO、SSD等常见目标检查算法。

3D目标检查主要包括FPFH、SHOT等传统算法、PointRCNN、VoxelNet等深入学习方式。

针对2D目标的划分:主要包括FCN、UNet、DeepLab、MaskRCNN等。

3D目标分割主要包括PointNet、PointNet、PointCNN等方式。

2D检查:

3D检查:

2D分割:

3D分割:

与传统的手动说明子方法相比,基于深入学习的方法取得了良好的效果。然而,对大量培训数据的需求和培训模式的泛化能力仍然具有挑战性。

6D姿势预估

6D姿势预估在增强现实、机器人操作、自主驾驶等领域发挥着重要作用。有助于机器人知道要抓住的物体的位置和方向。姿势报价方法大致可以分为四种,分别基于对应、模板、投票和回归。

1、不基于目标检测先验信息

对应方法:

在2D点和3D点之间找到匹配,使用PNP方法:SIFT、SURF、ORB。

随机假设或三维描述寻找三维对应关系,用ICP细分结果:FPFH、SHOT。

基于模板方法:。从无纹理的三维模型渲染图像,提取梯度信息进行匹配,使用ICP细分结果。

基于投票方法。根据三维点云或姿势渲染RGB-D图片,每个局部预测一个结果,并使用RANSAC优化结果。

2、基于目标检测信息的6D姿势报价

这种方法也称为基于回归的方法,同时完成目标检测和6D姿势报价。基于回归的方法:BB8、SSD6D、PoseCNN、Deep6DPose。

独立于目标检查的方法,在通常发生遮挡的杂乱场景中显示出明显的局限性,基于目标检查的方法是缺乏足够的训练数据。

捕获点检查(GraspDetection)

捕获检查定义为可以识别给定图像物体的捕获点或捕获姿势。抓取策略应保证新物体的稳定性、任务兼容性和适应性,抓取质量可以通过物体上接触点的位置和手的配置来测量。为了掌握新的对象,完成以下任务,有分析方法和经验方法。分析方法根据稳定性和任务要求的运动学和动力学公式,选择手指位置和手部构造型,经验方法根据具体任务和目标物体的几何结构,选择学习算法。根据是否需要进行目标定位,确定目标姿势,进一步分为已知定位和姿势的方法、已知定位和无姿势的方法、无定位和无姿势的方法3种。

1、已知定位和姿势

对于已知目标的经验方法,利用姿势将已知目标的抓取点转换为局部数据。主要算法有:

2、已知定位和无姿态的方法

主要方法:

3、无姿态的方法

主要基于深入的学习方法,包括

运动计划

1、已有抓住点

本节介绍开放方法,其中假设抓住点通过上述步骤检测出来。这些方法设计了从机器人到目标物体抓取点的路径。这里的运动表明这是一个关键问题。从机器人手到目标抓点的无限数轨迹存在,但由于机器人手臂的限制,很多地区无法到达。因此,有必要规划轨迹。主要有传统基于DMP的方法、模仿学习的方法、强化学习的方法三种方法。

基于DMP的方法:主要包括DMP算法。形式化为稳定的非线性吸引子系统。

基于仿学习为基础的方法:加强学习的方法:加强学习的方法:加强学习。

以加强学习为基础的方础的方强学习。

p>

加强学习的方法:加强学习:加强学习。

主要是通过加强学习直接完成原始RGBD图像的加强任务。

加强学习。

主要有:

:..................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

重磅!3DCVer-学术交流群已成立