欢迎光临中国机器人网站,我们致力于各行业应用研究

机器人捕获摘要包括目标检测、分割、姿态识别、抓取点检测和路径规划。

作者:初夏      发布时间:2021-04-23      浏览量:0
最近读了一些关于机器人爬行的相关内容,想

最近读了一些关于机器人爬行的相关内容,想得很好,对于一些方法和知识点,做了一个总结。本文综述了基于视觉的机器人捕获技术,总结了机器人抓取过程中的四个关键任务:目标定位、姿态估计、捕获检测和运动规划。具体而言,目标定位包括目标检测和分割方法,姿态估计包括基于RGB和RGBD的方法,捕获检测包括传统方法和深度学习方法,运动规划包括分析方法、仿真学习方法和强化学习方法。此外,许多方法已经完成了一些任务,如目标检测与6D姿态估计相结合、无姿态估计捕获检测、端到端捕获检测、端到端运动规划等。本文对这些方法进行了详细的评述,并对相关的数据集进行了总结,并对每种方法的最新方法进行了比较。提出了机器人抓取面临的挑战,并指出了今后解决这些挑战的方向:

为了完成机器人的抓取任务,机器人首先需要感知物体。随着传感器设备的不断发展,现有的机器人都配备了RGB摄像机和深度摄像机,以获取丰富的环境信息。然而,原始的rgb-D图像是机器人的一个简单的数字网格,需要提取高层次的语义信息来实现基于视觉的感知。要爬行的目标对象的高级信息通常包括位置、方向和抓取位置。然后计算抓取计划以执行物理爬行。赋予机器人感知能力一直是计算机视觉和机器人技术的长期目标.机器人捕获不仅具有重要的意义,而且一直以来都是研究的热点。机器人抓取系统由抓取检测系统、抓取计划系统和控制系统组成。其中,捕获检测系统是关键的切入点,它分为三个任务:目标定位、姿态估计和捕获点检测。结合抓取规划,详细介绍了4项任务,早期的

方法假设将被抓取的对象放置在一个背景简单的干净环境中,从而简化了对象定位的任务,这在相对复杂的环境中是相当有限的。一些目标检测方法采用机器学习的方法来训练基于人工二维描述符的分类器。然而,由于人工创建的描述符的局限性,这些分类器的性能受到限制。近年来,深入学习开始主导与图像相关的任务,如目标检测和分割。此外,从RGB图像到深度图像的训练数据,以及二维或三维输入深度学习网络,大大提高了目标定位的性能,促进了机器人捕获技术的发展。利用目标的位置,可以进行捕获检测。早期的分析方法是直接分析输入数据的几何结构,根据力闭合或形状闭合找到合适的抓取点。然而,分析方法存在计算时间长、计算困难等问题,随着大量三维模型的出现,可以对数据驱动的方法进行分析,并将三维模型库中的爬行传递给目标对象。Bohg等人介绍了数据驱动的爬行方法,并根据爬行配置是针对已知对象、熟悉对象还是未知对象,将这些方法分为三类。一般来说,目标物体的六维空间姿态是完成这项任务的关键。基于RGB图像的姿态估计方法和基于深度图像的姿态估计方法都能实现精确的姿态估计。然而,这些方法,如部分配准方法,容易受到传感器噪声或不完全数据的影响。通过深入学习的方法,可以直接或间接地从输入数据中估计姿态,从而获得对传感器噪声或不完全数据的抵抗能力。还有一种基于深度学习的方法,这种方法不需要6维姿态进行抓取检测。抓取结构可以通过深卷积网络直接或间接地回归。Caldera等人回顾了基于深度学习的机器人抓取检测方法。讨论了深入学习方法的各个要素如何提高机器人捕捉检测的整体性能。此外,还采用监督学习方法和强化学习方法直接完成与抓取密切相关的玩具装配等特定任务。在

四个基本任务

下,从目标定位、姿态估计、捕获点检测和抓取规划四个方面详细介绍了机器人抓取系统的主要内容。

目标位置(对象定位)

大多数爬行方法首先需要计算目标在输入图像数据中的位置。这涉及到目标检测和分割技术。目标检测提供了目标对象的矩形包围盒,目标分割提供了目标对象的精确边界。后者提供了一个更准确的描述对象区域,而它的计算更耗时。

用于二维目标检测:主要包括SIFT、SURF、FAST RCNN、YOLO、SSD等常用目标检测算法。

用于三维目标检测:主要包括FPFH、SIT等传统算法,以及PointRCNN、VoxelNet等深入学习方法。

用于二维目标分割:主要包括FCN、UNET、DeepLab、MASK RCNN等;

用于三维目标分割:主要包括PointNet、PointNet++、PointCNN等。

二维检测:

3D检测:

二维分割:

三维分割:

与传统的人工描述子方法相比,基于深度学习的方法取得了更好的效果。然而,对大量训练数据的需求和训练模型的泛化能力仍然具有挑战性。

6D姿态估计

6D姿态估计在增强现实、机器人操作、自主驾驶等领域发挥着重要作用。它帮助机器人知道要抓的物体的位置和方向。姿态估计方法可分为基于对应、模板、投票和回归四大类。

根据目标检测的先验信息

基于相应的方法

查找2D点和三维点之间的匹配,并使用PNP方法:SIFT、SURF、ORB。

通过随机假设或三维描述寻找三维对应关系,并利用ICP对结果进行细化:FPFH、SHOT。

基于模板法的LineMod算法,从三维模型中提取无纹理的图像,提取梯度信息进行匹配,并利用ICP对结果进行细化。

基于投票方法:PPF算法。基于三维点云或姿态渲染的RGB-D图像,对每个局部预测结果进行分析,并利用RANSAC对结果进行优化。

2.6d基于目标探测信息

的姿态估计方法也称为基于回归的方法,它同时完成目标检测和6D姿态估计。方法:BB8,SSD6D,PoseCNN,Deep6DPose。

不依赖于目标检测的方法在通常发生遮挡的杂乱场景中表现出明显的局限性,基于目标检测的方法缺乏足够的训练数据。

抓取点检测(抓取检测)

爬行检测定义为能够识别任意给定图像中对象的抓取点或抓取姿势。抓取策略应保证新对象的稳定性、任务兼容性和适应性,抓取质量可以通过物体上接触点的位置和手的配置来衡量。为了掌握新的对象,完成以下任务,有分析方法和经验方法。根据抓取稳定性或任务要求的运动学和动力学公式,分析方法选择手指位置和手的配置,经验方法根据特定任务和目标对象的几何结构选择抓取。根据是否需要对目标进行定位,需要确定目标的姿态,并将其进一步划分为三类:已知定位姿态法、已知定位无姿态法、无姿态定位法和无姿态法。

1,对于已知目标经验方法,在已知位置和姿态

的情况下,用姿态将已知目标的抓取点转化为局部数据。主要算法为

2,介绍了定位已知且无姿态

的主要方法

3,

方法主要是基于深度学习的方法,包括

运动规划

1,

开环法,并假设通过上述步骤检测到捕获点,这些方法设计了从机器人手到目标物体抓取点的路径。这里的运动是一个关键问题。虽然从机器人手到目标抓地点的轨迹是无限的,但由于机器人手臂的局限性,许多区域无法到达。因此,轨道需要规划。主要有三种方法,即传统的基于DMP的学习方法、模仿学习方法和强化学习方法。

基于DMP的方法:主要包括DMP算法.形式化为一个稳定的非线性吸引子系统。

基于模仿学习:多指机器人手抓取的推广。

>基于强化学习的

主要包括:

参考:https://arxiv.org/abs/1905.0665 8.

权重!