(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111637308.3 (22)申请日 2021.12.2 9 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区 (72)发明人 陆龙飞　林志赟　王博　韩志敏　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 代理人 杨舟涛 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/215(2017.01) G06T 7/194(2017.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于RGBD传感器的去除动态目标的 SLAM方法 (57)摘要 本发明公开了一种基于RGBD传感器的去除 动态目标的SLAM方法， 该方法包括： 使用目标检 测神经网络YOL Ov5检测图像中的动态目标； 结合 图像深度信息， 经过一种像素级分割方法的处 理， 提取该帧图像中所有动态目标， 形成mask图 像； 使用mask图像处理原图像信息后， 分别得到 动态目标图像和静态背景图像， 使用静态背景图 像进行SALM系统进行定位和地图构建； 实验结果 表明， 本发明将深度学习与视觉SLAM相融合， 可 以有效的去除动态目标对SLA M系统的干扰， 提升 视觉SLAM系统在动态环境下的定位与建图精度； 同时在没有性能良好的GPU支持下， 也能保证系 统的实时性， 可以有效地 运用在实际场景中。 权利要求书3页 说明书8页 附图5页 CN 114283198 A 2022.04.05 CN 114283198 A 1.一种基于RGBD传感器的去除动态 目标的SLAM方法， 其特征在于， 所述方法包括如下 步骤： 步骤1、 获取需要预 先设定去除动态目标类别的图片， 构建训练样本集和 测试数据集； 步骤2、 利用步骤1构建的训练样本集和测试数据集， 对目标检测神经网络YOLOv5进行 训练以及测试， 获得训练好的YOLOv5模型； 步骤3、 使用步骤2训练完成的目标检测神经网络YOLOv5模型处理RGBD传感器采集的 RGB图像， 判断图像中是否存在动态目标及动态目标框所处的像素坐标位置； 步骤4、 结合步骤3中得到的动态目标框的像素坐标位置和RGBD传感器的深度图像信 息， 判断RGBD传感器的深度图像的当前帧中是否存在动态目标， 如果存在动态目标， 则 在当 前帧对应的深度图像中动态目标框内划出的相同像素区域使用像素级分割方法进 行处理， 得到mask图像， 如果 不存在动态目标， 则将mask图像直接设置为空； 所述像素级分割方法具体包括以下步骤： 步骤4.1、 针对每一帧RGB图像的所有动态目标检测框， 在对应该帧图像深度图中像素 位置的动态目标检测框区域内， 均匀分布取N个像素点的深度值， 存入容器Xi中， 其中i的取 值从1至N； 步骤4.2、 对得到的N个像素点的深度值使用绝对中位值偏差离群值算法， 划分为两个 由深度值组成的集合， 再对两个集合使用加权求和分别得到两个集合的平均像素深度值， 其中平均像素深度值相对小的设为动态目标类深度值， 平均像素深度值相对大的设为静态 背景类深度值； 目标检测神经网络YOLOv5模型输出的动态目标框区域内， 动态目标位置比 静态背景离相机光心的距离更近； 步骤4.3、 针对动态目标类深度值和静态背景类深度值， 使用一种基于距离的聚类算法 对动态目标检测框中的所有像素进行聚类， 将动态目标框中的所有像素划分为动态目标类 或静态背景类， 得到的动态目标类或静态背景类均是像素点的集 合； 步骤4.4、 提取图像 中所有目标检测框的动态目标类像素位置， 将得到的动态目标类像 素位置投影在与原输入图像相同大小的图像上并以二值化的形式输出， 将图像中所有目标 检测框产生的二值化图像对应的像素位置进 行或运算操作， 使多张图像叠加融合成为一张 mask图像， mask图像也以二 值化的形式输出； 步骤5、 使用mask图像对SLAM中的灰度图像进行处理， 具体方法是， 将以二值化形式输 出的msak图像与SLAM中的灰度图像进 行与运算操作， 其中动态目标类所在位置的像素值会 为0， 而灰度图其他的部分将不会 改变， 其中灰度图像中像素值置0部分为图像中的动态目 标信息， 灰度图不变部分为静态背景信息， 使用静态背景信息进行移动机器人 的定位和地 图构建。 2.根据权利要求1所述的一种基于RGBD传感器的去除动态目标的SLAM方法， 其特征在 于， 所述步骤1中， 测试 数据集标记制作后调整成VOC数据集格式用以后续 步骤使用。 3.根据权利要求1所述的一种基于RGBD传感器的去除动态目标的SLAM方法， 其特征在 于， 所述步骤2中， 使用目标检测神经网络YOLOv5中最简洁的YOLOv5s网络进行训练， 该目标 检测神经网络相较与其它同类型网络参数量更小， 运行速度更 快。 4.根据权利要求1所述的一种基于RGBD传感器的去除动态目标的SLAM方法， 其特征在 于， 所述步骤3中， 所述像素坐标位置包括 目标框中心点坐标和目标框宽高， 并均根据输入权　利　要　求　书 1/3 页 2 CN 114283198 A 2图像的尺寸大小 进行归一 化处理。 5.根据权利要求1所述的一种基于RGBD传感器的去除动态目标的SLAM方法， 其特征在 于， 所述步骤4.2中， 所述绝对中位值偏差离群值算法可以检测数据中一个或几个数值与其 他数值相比差异大的数据加以剔除， 其中差异大小根据绝对中位值偏差离群值算法中的参 数n判断， 利用算法提取 出动态目标的平均深度信息， 其公式为： 该算法的基本步骤可以概 括为以下子步骤： 步骤4.2.1、 计算Xi中所有元 素的中位 值Xmedian； 步骤4.2.2、 计算所有元素与中位值的绝对偏差， 再计算所有元素相对绝对偏差的中位 值MAD； 步骤4.2.3、 确定参数n， 可以根据算法公式对参数进行调整； 分离出离群数据存入容器 outlier， 其它数据存入容器normal， 然后计算容器outlier中所有像素的平均深度值和容 器normal中所有像素的平均深度值， 比较两者的平均深度值， 其中平均像素深度值相 对小 的设为动态目标类深度值， 平均像素深度值相对大的设为静态背景类深度值。 6.根据权利要求1所述的一种基于RGBD传感器的去除动态目标的SLAM方法， 其特征在 于， 所述步骤4.3中， 基于距离的聚类算法包括以下步骤： 步骤4.3.1、 首先设定聚类的中心点， 该步骤中设定两个中心点的深度值， 分别为由步 骤4.2得到的动态目标类深度值和静态背景类深度值； 步骤4.3.2、 遍历动态目标检测框中所有像素点， 分别计算每个像素点的深度值到两个 设定聚类中心点深度值的欧式距离， 比较两个距离值大小， 将动态目标检测框中所有像素 点划分给距离较近的聚类中心； 步骤4.3.3、 重新选取聚类中心的深度值， 计算步骤4.3.2中划分出来两类像素点集合 的平均像素， 作为 步骤4.3.1中设定聚类中心点的深度值， 重新进行 下一轮次的迭代聚类； 步骤4.3.4、 循环步骤4.3.1至步骤4.3.3， 直到至少满足以下条件之一， 则结束循环， 输 出动态目标检测框中属于动态目标类或静态背景类的像素位置信息； 条件1， 直至 两类的平均像素与聚类中心之差小于设定值a； 条件2， 目标框中属于 两类的像素 数量之差大于设定值b； 参数a,b根据适应实际应用场景的情况进行调整。 7.根据权利要求1所述的一种基于RGBD传感器的去除动态目标的SLAM方法， 其特征在 于， 步骤5中， SLAM系统的算法流 程具体步骤如下： 步骤5.1、 对步骤4提供的静态图像进行ORB特征提取， 当提取特征点数量超过设定值 时， SLAM系统初始化； 步骤5.2、 使用提取的ORB 特征结合上一帧静态背景信息， 估计相机的运动姿态， RGBD相 机提供了深度信息， 使用PnP方法来 求解相机位姿； 步骤5.3、 利用光束平差法(BA)进行最小化重投影误差， 优化局部地图； 步骤5.4、 利用回环检测来优化 位姿， 更正漂移误差 。 8.根据权利要求7所述的一种基于RGBD传感器的去除动态目标的SLAM方法， 其特征在权　利　要　求　书 2/3 页 3 CN 114283198 A 3