(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111649696.7 (22)申请日 2021.12.2 9 (71)申请人 宜昌测试技 术研究所 地址 443003 湖北省宜昌市西陵区胜利三 路58号 (72)发明人 徐从营　杨邦清　曾盎　 (74)专利代理 机构 北京理工大 学专利中心 11120 专利代理师 廖辉　李爱英 (51)Int.Cl. G06T 7/136(2017.01) G06T 7/187(2017.01) G06T 7/90(2017.01) G06N 3/08(2006.01) G06K 9/62(2022.01)G01S 15/93(2020.01) G01S 15/89(2006.01) G01S 7/539(2006.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于深度学习的三维避碰声呐障碍物 检测方法及系统 (57)摘要 本发明涉及无人航行器技术领域， 公开一种 基于深度学习的三维避碰声呐障碍物检测方法 及系统， 包括： 三维避碰声呐探测障碍物， 并采集 障碍物的三维点云数据； 对所述三维点云数据进 行处理， 生成二维扇形图像， 并进行障碍物标注， 得到训练图像样本； 通过深度学习模 型对训练图 像样本进行训练， 并对障碍物进行图像检测识 别， 获取障碍物的位置信息， 得到障碍物小图像； 基于自适应的双阈值检测算法进行图像 分割， 获 取障碍物轮廓信息， 并得到障碍物成像的平均灰 度值； 进行三维点云数据栅格化处理生成三维栅 格图像， 获取障碍物的三维边界数据； 根据三维 边界数据对障碍物进行避碰控制。 本发明能够获 取准确的障碍物三维边界信息， 整体简单、 可靠 也易于实现。 权利要求书2页 说明书7页 附图6页 CN 114463362 A 2022.05.10 CN 114463362 A 1.一种基于深度学习的三维避碰声呐障碍物检测方法， 其特征在于： 该检测方法的具 体步骤包括如下： 三维避碰声呐探测障碍物， 并采集障碍物的三维点云数据； 对所述三维点云数据进行处理， 生成二维扇形图像， 并在二维扇形图像中进行障碍物 标注， 得到训练图像样本； 通过深度学习模型对所述训练图像样本进行训练， 并对 障碍物进行图像检测识别， 获 取障碍物的位置信息， 得到所述 位置信息对应的障碍物小图像； 对所述障碍物小图像， 基于自适应的双阈值检测算法进行图像分割， 获取障碍物轮廓 信息， 并得到障碍物成像的平均灰度值； 根据识别出的障碍物轮廓信 息和成像的平均灰度值， 进行三维点云数据栅格化处理生 成三维栅格图像， 获取障碍物的三维边界数据； 将所述三维边界数据发送给AUV控制单 元， 实现对障碍物进行避碰控制。 2.根据权利要求1所述的基于深度学习的三维避碰声呐障碍物检测方法， 其特征在于： 所述对三维点云数据进 行处理， 生成二维扇形图像， 并在二 维扇形图像中进行障碍物标注， 具体包括如下： 对所述三维点云数据进行降维处 理， 得到二维数组； 将所述二维数组进行扇形展开， 生成二维扇形图像， 并得到障碍物的图像数据样本； 根据所述图像数据样本中所有的二维扇形图像， 按照设定像素尺寸大小进行裁剪， 得 到二维裁 剪图像； 在二维裁剪图像中进行障碍物标注得到障碍物区域， 并对标注后的图像数据样本按比 例分类， 得到训练图像样本 。 3.根据权利要求2所述的基于深度学习的三维避碰声呐障碍物检测方法， 其特征在于： 采用最大值法对三维点云数据进行降维处理， 在垂直方向取数列的最大值， 将三维点云数 据对应的三维数组降低为 二维数组。 4.根据权利要求1所述的基于深度学习的三维避碰声呐障碍物检测方法， 其特征在于： 所述通过深度学习模型对所述训练图像样本进行训练， 具体包括如下： 设置模型的训练参数， 并采用YOLOV3深度学习模型对训练图像样本进行数据训练， 得 到模型权值文件； 根据所述模型权值文件， 在已标注障碍物区域的训练图像样本中， 进行障碍物在线检 测识别， 进一 步得到障碍物在所述障碍物区域中的位置信息； 将所述位置信息对应的障碍物图像进行裁 剪， 生成障碍物小图像。 5.根据权利要求4所述的基于深度学习的三维避碰声呐障碍物检测方法， 其特征在于： 所述深度学习模 型的训练参数设置如下： 批量大小设置为32， 训练图像宽度和高度为512像 素， 分类数为1， fi lters参数为18， 训练次数不小于20 000次， 损失函数值 不能大于 0.2。 6.根据权利要求1所述的基于深度学习的三维避碰声呐障碍物检测方法， 其特征在于： 所述自适应双阈值图像分割算法， 具体包括如下： 采用最大类间方差法对障碍物小图像进行直方图统计， 得到障碍物小图像的自适应分 割阈值dth； 根据所述自适应分割阈值dth， 确定高低分割阈值并进行图像二值化， 得到二值化分割权　利　要　求　书 1/2 页 2 CN 114463362 A 2图像； 将二值化分割图像进行 形态学闭运 算处理， 去除孤立噪声点； 根据处理后的分割图像， 通过二值连通成分标记的序贯算法， 分别对分割出的障碍物 目标区域及背景区域进行连通性分析， 对障碍物的目标区域内部的孔洞进行填充， 得到完 整的障碍物轮廓信息； 根据所述障碍物完整的轮廓信息后， 统计轮廓信息内的原始图像灰度值， 计算得到障 碍物成像的像素 灰度值。 7.根据权利要求6所述的基于深度学习的三维避碰声呐障碍物检测方法， 其特征在于： 所述得到二 值化分割图像， 具体过程包括： 设置高低阈值分别为dth1、 dth2， 其中dth1>dth2， 并取dth1＝1.2dth， dth2＝0.2dth； 根据所述高低分割阈值进行障碍物小图像的二值化， 即设d[i,j]为图像坐标[i,j]处 的像素值， 若d[i,j]>dth1， 则将图像坐标对应的像素点认定为目标点； 采用递归边界跟踪方法， 将所述目标点的八邻域区域内的像素值>dth2的像素点也判定 为目标点； 根据判定的所有目标点， 得到二 值化分割图像。 8.根据权利要求1所述的基于深度学习的三维避碰声呐障碍物检测方法， 其特征在于： 所述三维点云数据栅格化处 理， 具体过程包括如下： 创建三维避碰声呐避碰通道的显示空间； 根据需要的避碰通道分辨 率， 将所述显示空间按照高、 宽、 深三个方向划分三维栅格； 将三维点云数据按位置信息映射至三维栅格的区域内， 得到映射数据， 并根据障碍物 成像的像素 灰度值对映射数据进行处 理， 保留像素 大于像素 灰度值的数据； 根据所有的三维栅格内包含的全部数据灰度值， 计算灰度值总和并进行伪彩赋值， 得 到障碍物的三维栅格图像； 从三维栅格图像中提取三维栅格化结果， 得到障碍物的三维边界数据。 9.根据权利要求8所述的基于深度学习的三维避碰声呐障碍物检测方法， 其特征在于： 所述显示空间采用高H ×宽W×深L的立方体空间， 并划分为高h ×宽w×深l个三维栅格。 10.一种基于权利要求1 ‑9任一项所述基于深度学习的三维避碰声呐障碍物检测方法 的检测系统， 其特 征在于： 该检测系统包括： 探测采集模块： 用于三维避碰声呐探测障碍物， 并采集障碍物的三维点云数据； 处理标注模块： 用于对所述三维点云数据进行处理， 生成二维扇形图像， 并在二维扇形 图像中进行障碍物标注， 得到训练图像样本； 样本训练模块： 用于通过深度学习模型对所述训练图像样本进行训练， 并对 障碍物进 行图像检测识别， 获取障碍物的位置信息， 得到所述 位置信息对应的障碍物小图像； 图像分割模块： 用于对所述障碍物小图像， 基于自适应的双阈值检测算法进行图像分 割， 获取障碍物轮廓信息， 并得到障碍物成像的平均灰度值； 边界数据获取模块： 用于根据识别出的障碍物轮廓信息和成像的平均灰度值， 进行三 维点云数据栅格化处 理生成三维栅格图像， 获取障碍物的三维边界数据； 避碰控制模块： 用于将所述三维边界数据发送给AUV控制单元， 实现对障碍物进行避碰 控制。权　利　要　求　书 2/2 页 3 CN 114463362 A 3