(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111638100.3 (22)申请日 2021.12.2 9 (71)申请人 福建天晴数码有限公司 地址 350000 福建省福州市君竹路83号科 技发展中心大楼第四层Q476室 （自贸 试验区内） (72)发明人 刘德建　黄梅玲　李佳　 (74)专利代理 机构 福州旭辰知识产权代理事务 所(普通合伙) 35233 代理人 程勇 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01)G06V 10/774(2022.01) G06V 10/60(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于GAN网络的工地夜间异常实时检测 方法 (57)摘要 本发明提供了一种基于GAN网络的工地 夜间 异常实时检测方法， 对建筑工地的夜间监控视频 与白天监控视频进行采集， 将采集到的视频分割 成帧图像， 并人工对白天监控视频分割得到的帧 图像标注需要检测的异常行为， 制作成数据集； 之后在Tensorflow平台上搭建无监督的生成对 抗网络Enlighten GAN， 使用分割的帧图像训练模 型到最佳， 通过训练好的EnlightenGAN网络将工 地昏暗帧图像亮度增强； 再搭建异常行为检测网 络yolov3， 通过人工标注 了异常行为的白天帧图 像训练yolov3网络至最佳， 通过yolov3网络对恢 复亮度的工地帧图像实时检测异常行为， 最后将 检测好的帧图像按时间重新拼接成视频， 反馈到 移动通信系统， 实现工地夜间异常实时检测。 权利要求书2页 说明书7页 附图2页 CN 114359797 A 2022.04.15 CN 114359797 A 1.一种基于GAN网络的工地夜间异常实时检测方法， 其特征在于： 所述方法包括如下步 骤： 步骤S1、 在建筑工地使用监控设备采集日间与夜间的监控视频， 并按时间先后顺序将两 种视频分割成帧图像， 并对日间帧图像进行异常行为标注； 步骤S2、 搭建无监督的生成对抗网络enlightenGAN， 通过分割得到的夜间帧图像对生 成对抗网络en lightenGAN模型进行训练； 步骤S3、 搭建异常行为实时检测网络yolov3， 通过标注了异常行为的日间帧图像对 yolov3模型进行训练； 步骤S4、 使用训练好的en lightenGAN网络对昏暗的夜间帧图像进行图像亮度增强； 步骤S5、 使用训练好的yolov3 网络对图像亮度增强后的夜间帧图像进行异常行为实时 检测， 将异常行为在图像上 标注出来； 步骤S6、 将标注好的帧图像按时间顺序重新拼接成视频， 并传输给工作人员， 工作人员 进行异常实时检测。 2.根据权利要求1所述的一种基于GAN网络的工地夜间异常实时检测方法， 其特征在 于： 所述方法使用的enlightenGAN网络采用双判别器来平衡全局和局部低光增强， 所述方 法采用自特征保留损失的方式对真实数据进行监督， 即利用VGG预训练模型约束低光输入 图像与增强图像之 间的VGG特征距离， 该方式在局部和全局上都被采用， 并结合对抗性损失 对enlightenGA N网络进行训练， 提出利用低光输入的光照信息作为各深度特征层次的自正 则注意图， 对无监 督学习进行正则化。 3.根据权利要求1所述的一种基于GAN网络的工地夜间异常实时检测方法， 其特征在 于： 所述方法重于异常行为实时检测， 因此使用yolov3网络检测异常行为， yolov3利用单一 神经网络， 基于网格的思想将目标检测任务视作空间分离的边界框和相关的类概率的回归 问题， 在实时性要求高的场景下更好的做到实时目标检测， 同时单一神经网络的模型优化 也很容易。 4.根据权利要求1所述的一种基于GAN网络的工地夜间异常实时检测方法， 其特征在 于： yolov3模型由两部分组成： 主干特征提取网络和利用主干特征提取网络所提取的特征 进行预测的部分。 5.根据权利要求4所述的一种基于GAN网络的工地夜间异常实时检测方法， 其特征在 于： yolov3网络以Darknet ‑53作为主干 特征提取网络， Darknet ‑53中主要使用了残差卷积； 在Darknet ‑53的残差块中首先利用大小3 ×3、 步长为2的卷积核做卷积运算， 保存结果X后 依次进行1×1和3×3的卷积操作， 再加上之前的结果X作为该残差块最后的输出； 残差卷积 的使用能缓解深度学习中梯度消失问题， 用于训练更深层的网络 。 6.根据权利要求1所述的一种基于GAN网络的工地夜间异常实时检测方法， 其特征在 于： 在主干特征提取网络Darknet ‑53中， 每一次卷积操作后都使用了BatchNormalization 批标准化与LeakyReLU激活函数缓解梯度消失问题， 用于训练更深层的神经网络， 经由特征 提取网络对输入 数据进行特征提取， 最后从Dar knet‑53中获取最后三个残差块的输出用于 后续预测过程。 7.根据权利要求5所述的一种基于GAN网络的工地夜间异常实时检测方法， 其特征在 于， 在yolov3网络中， 利用主干特征提取网络Darknet ‑53最后三个残差块所提取特征进行 目标检测， 三个特征层分别进 行五次卷积操作， 其中最后两层所获取特征既用于预测， 同时权　利　要　求　书 1/2 页 2 CN 114359797 A 2通过上采样进行特征层扩张后与上一残差块所提取特征相加， 共同用于上一层的预测， 对 特征提取网络所提取特征进行了有效利用； 最后网络三层所输出网格大小从上到下依次为 52×52、 26×26、 13×13， 利用特 征金字塔由粗到精的思想提高模型检测的鲁棒 性。 8.根据权利要求1所述的一种基于GAN网络的工地夜间异常实时检测方法， 其特征在 于： YOLOv3模型最后根据所获取的预测结果进行解码操作， 在三个特征层获取的结果对应 每张图分割为52 ×52、 26×26、 13×13的网格， 每个网格负责一个区域的预测， 根据每个区 域预测所得结果， 即目标中心坐标x、 y， 预测框宽高w、 h， 判断是否存在目标以及各个类别置 信度， 可得图像中目标 预测框和类别置信度。 9.根据权利要求1所述的一种基于GAN网络的工地夜间异常实时检测方法， 其特征在 于： 所述生成对抗网络enlightenGAN使用Python编程语言在Tensorflow平台上搭建， 所述 网络yolov3使用Pytho n编程语言在Tensorfl ow平台上搭建。权　利　要　求　书 2/2 页 3 CN 114359797 A 3