(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111632247.1 (22)申请日 2021.12.28 (66)本国优先权数据 202110784957.X 2021.07.12 CN (71)申请人 苏州万店掌网络科技有限公司 地址 215011 江苏省苏州市苏州高新区竹 园路209号 申请人 苏州万店掌软件技 术有限公司 (72)发明人 孙成建　黄岗　周圣强　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 代理人 薛晨光 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/762(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的货道 堆积检测方法、 系 统及存储介质 (57)摘要 本发明提出了一种基于深度学习的货道堆 积检测方法、 系统及存储介质， 通过定时抓拍的 方式采集网络摄像头图像， 并将图像裁剪至适当 的分辨率， 将裁剪后的 图像输入到卷积神经网络 中提取特征， 得到图像中堆积货箱的坐标、 类别 以及置信度， 最后依据预先设定的时间间隔， 通 过多次抓拍的方式判断该时间段内货道是否存 在货箱堆积情况。 本发明基于YOLO ‑V4的深度学 习算法实现货道堆积检测， 取代人工判断货道堆 积， 在很大程度上提高了效率、 节省了人力成本 。 权利要求书2页 说明书10页 附图3页 CN 114140735 A 2022.03.04 CN 114140735 A 1.一种基于深度学习的货道堆积检测方法， 其特 征在于， 包括： 步骤101， 采集视频图像， 将所述视频图像截取获得第一图片， 筛选第一 图片获得包含 货箱的第二图片； 步骤102， 对所述第二图片进行图像标注获得 标注图片， 并生成预定格式的标注信息； 步骤103， 将所述标注图片按照比例划分成训练集和验证集， 基于神经网络模型进行训 练， 选择验证集上均值平均精确度最大的权 重用于检测图片， 生成检测模型； 步骤104， 通过所述检测模型进行抓拍检测， 针对待检测图片判断预设时间段内是否存 在货道堆积。 2.根据权利要求1所述的货道堆积检测方法， 其特征在于， 所述通过所述检测模型进行 抓拍检测， 针对待检测图片判断预设时间段内是否存在货道堆积， 包括： 在每个检测周期获取每 个设备抓拍的待检测图片； 通过所述检测模型对每个待检测图片进行检测， 并在每个检测周期更新每个待检测图 片中各货箱的ClassBox； 所述ClassBox包括： 检测帧数、 检出帧数、 丢失帧数、 连续丢失帧 数、 检测状态； 根据每个设备的各Clas sBox确定是否存在货道堆积。 3.根据权利要求2所述的货道堆积检测方法， 其特征在于， 所述通过所述检测模型对每 个待检测图片进行检测， 包括： 将每个待检测图片划分成多个子区域， 并输入所述检测模型； 通过所述检测模型对每个子区域进行特征提取得到特征图， 选取YOLO层作为输出层， 并基于K‑means聚类算法得到的锚框预测边界框的中心点坐标、 宽度、 高度及存在预测边界 框的置信度， 根据预测边界框的中心点 坐标、 宽度、 高度得到所述预测边界框的实际坐标； 基于softmax分类器预测每个边界框的类别置信度， 根据预测边界框的置信度及类别 置信度生成预测边界框为货箱的最终置信度； 根据待检测图片中与每个预测边界框对应的实际坐标及最终置信度作为待检测图片 的检测结果。 4.根据权利要求3所述的货道堆积检测方法， 其特征在于， 所述在每个检测周期更新每 个待检测图片中各货箱的Clas sBox， 包括： 在当前检测周期， 根据目标设备的每个待检测图片的检测结果判断待检测图片中是否 检测出货箱； 若是， 则判断待检测图片中是否检测出与上一检测周期相同的货箱； 若检测出相同的 第一货箱， 则对第一货箱的ClassBox中的检测帧数和检出帧数+1， 将连续丢失帧数置0， 将 检测状态置1； 若检测出不同的第二货箱， 则对第二货箱创建ClassBox， 并将第二货箱的 ClassBox中的检测帧数和检出帧数+1， 将丢失帧数及连续丢失帧数置 0， 将检测状态置1； 若否， 则对所述目标设备下的所有ClassBox的检测帧数、 丢失帧数、 连续丢失帧数+1， 并将检测状态置1； 遍历所有设备下的ClassBox， 将检测状态为0的ClassBox的检测帧数、 丢失帧数、 连续 丢失帧数+1， 并将检测状态为1的Clas sBox的检测状态置 0。 5.根据权利要求4所述的货道堆积检测方法， 其特征在于， 所述判断待检测图片中是否 检测出与上一检测周期相同的货箱， 包括：权　利　要　求　书 1/2 页 2 CN 114140735 A 2判断当前检测周期中待检测图片中的货箱， 与 上一检测周期中待检测图片中的货箱的 IOU是否大于第一预定阈值； 若是， 则判定检测出相同的第一货箱； 若否， 则判定检测出不同的第二货箱。 6.根据权利 要求2所述的货道堆积检测方法， 其特征在于， 根据每个设备的各ClassBox 确定是否存在货道堆积， 包括： 遍历所有设备下的ClassBox， 若存在目标ClassBox的检测帧数大于第二预定阈值， 则 判断目标ClassBox的检出帧数是否大于第三预定阈值； 第二预定阈值为设备抓拍频率与堆 积时间的乘积； 所述第三预定阈值 为所述目标Clas sBox的检测帧数与预定比例值的乘积； 若目标ClassBox的检出帧数大于第三预定阈值， 且所述目标ClassBox的连续丢失帧数 为0， 则判定存在存在货道堆积。 7.根据权利要求6所述的货道堆积检测方法， 其特征在于， 所述判定存在存在货道堆积 之后， 还包括： 生成与所述目标Clas sBox对应的代办单并上报。 8.根据权利要求2所述的货道堆积检测方法， 其特征在于， 所述根据每个设备的各 ClassBox确定是否存在货道堆积之后， 还 包括： 遍历所有设备 下的Clas sBox， 将连续丢失帧数 大于第四预定阈值的Clas sBox删除。 9.一种基于深度学习的货道堆积检测系统， 其特征在于， 所述系统包括采集模块201， 标注模块202， 训练模块20 3， 检测模块204； 采集模块201， 用于采集视频图像， 将所述视频图像截取获得第一图片， 筛选第一图片 获得包含货箱的第二图片； 标注模块202， 用于对所述第二图片进行图像标注获得标注图片， 并生成预定格 式的标 注信息； 训练模块203， 用于将所述标注图片按照比例划分成训练集和验证集， 基于神经网络模 型进行训练， 选择验证集上均值平均精确度最大的权 重用于检测图片， 生成检测模型； 检测模块204， 用于通过所述检测模型进行抓拍检测， 针对待检测图片判断预设时间段 内是否存在货道堆积。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行时实现权利要求1 ‑8任一项所述的基于深度学习的货 道堆积检测方法。权　利　要　求　书 2/2 页 3 CN 114140735 A 3