(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111633923.7 (22)申请日 2021.12.2 9 (71)申请人 上海利淘豪斯机 器人有限公司 地址 201100 上海市闵行区剑川路951号1 幢南区7层708A室 (72)发明人 于洪洲　黄丽莉　卢华兵　蔡孙增　 (74)专利代理 机构 南昌金轩知识产权代理有限 公司 36129 代理人 魏奇 (51)Int.Cl. G06V 20/17(2022.01) G06V 10/44(2022.01) G06V 10/75(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种孪生差分网络的场景变化轮廓检测 (57)摘要 本发明公开了一种孪生差分网络的场景变 化轮廓检测， 包括训练准备过程和识别运行流 程， 所述训练准备过程包括： 数据采集， 数据标 注， 深度学习网络特征提取器模型设计， 区域选 取器设计， 深度学习网络误差设计， 模型训练； 识 别运行流程包括： 模板图片和目标检测图片匹配 视角变换计算模块， 神经网络变化区域轮廓检测 模块。 本发明运用了深度孪生网络， 对模板图片 和目标检测图片匹配矫正和孪生网络联合变化 异常检测， 极大的提高了 检测准确度。 权利要求书2页 说明书4页 附图1页 CN 114399691 A 2022.04.26 CN 114399691 A 1.一种孪生差分网络的场景变化轮廓检测， 其特 征在于， 包括训练准备 过程和识别运行流 程， 所述训练准备过程包括： 数据采集， 数据标注， 深度学习网络特征提取器模型设计， 区 域选取器设计， 深度学习网络误差设计， 模型训练； 所述识别运行流程包括： 模板 图片和目标检测图片匹配视角变换计算模块， 神经网络 变化区域轮廓检测模块。 2.根据权利要求1所述的一种孪生差分网络的场景变化轮廓检测， 其特 征在于， 包括以下步骤： 步骤一、 将模板图片和目标检测图片输入所述目标检测图片匹配视角变换计算模块 内， 计算两张图片的关键点信息， 通过匹配的相关关键点计算得到两张图片的视角变换矩 阵， 目标图片根据变换矩阵计算得到和模板图片视角相同的目标图片， 将匹配矫正后的拍 摄目标图片和模板图片输入孪生差分神经网络预测改变区域； 步骤二、 数据采集和数据标注： 所述模板图片和目标检测图片数据采集成对收集， 一张模板图片对应一张目标检测图 片， 检测目标检测图片与模板图片有不同区域， 同时在两张图片中一起标出， 标出的地方设 置为异常目标检测数据集， 所述异常目标检测数据集包含通用公用场景变化数据集与巡检 设备拍摄数据集， 每对变化区域异常图片区域单独标注异常不同区域轮廓， 采用添加 通用 公开场景变化数据集和数据加扰算法丰富样本的多样性， 去除了深度网络变化区域的误检 与漏检问题， 可有效抑制传统算法中受噪声光线畸变影响带来的不稳定性， 使用中具有鲁 棒性与使用简便性； 步骤三、 深度网络基础特 征模型： 采用Efficient差分金字塔网络结构用于提取模板图片和目标检测图片的金字塔特 征， 模板图片和目标检测图片的金字塔特征分别进行差分运算和特征连接运算， 共同输出 到Unet网络； 所述Unet网络的Encode阶段金字塔四层输出作为特征选取器进行差分计算合并两张 图片的特征FeatureMap， 通过差分融合多层特征金字塔FeatureMap， 计算两张 图片在浅层 和深层网络中的共同和差异特性， 提高网络模型的鲁棒 性和通用行； 步骤四、 训练数据的输入图片InputTensor， 两张原始数据采用相同的数据增强方法， 同步旋转和 加扰方法生成， 生成对应两张图像Lebel向量， 所述 Lebel向量 为变化区域框 。 3.根据权利要求2所述的一种孪生差分网络的场景变化轮廓检测， 其特 征在于， 所述步骤三还 包括 深度网络区域选取器模型设计： 对于金字塔特构建特征， 后接filter_size为3*3大小 的separable_conv2d卷积层， 并输出Featmaps热图的调节参数有效减少模型的参数量， Unet‑Decode阶段FeatureM aps上采样至原始分辨率FeatureMap， sigmoid激活函数判决分 类识别变化区域。 4.根据权利要求2所述的一种孪生差分网络的场景变化轮廓检测， 其特 征在于， 所述步骤三还 包括 误差设计： 误差共分为三部分： UnetEncode分层误差 目标函数， Unet ‑Decode输出判决 误差和L2调节参数误差， 分层目标区域误差和输出判决误差的合并设计可有有效利用不同权　利　要　求　书 1/2 页 2 CN 114399691 A 2层特征的网络性能提高准确度和L2误差防止网络的过拟合 提高网络的鲁棒 性。 5.根据权利要求2所述的一种孪生差分网络的场景变化轮廓检测， 其特 征在于， 所述步骤四输出的误差计算参见所述误差设计， 由网络的输出误差反向梯度回播更新 目标网络模型。 6.根据权利要求 4所述的一种孪生差分网络的场景变化轮廓检测， 其特 征在于， 所述L2调节参数误差设置为抑制模型 过拟合。 7.根据权利要求2所述的一种孪生差分网络的场景变化轮廓检测， 其特 征在于， 所述步骤二内的所述数据加扰包括 光照或畸变。权　利　要　求　书 2/2 页 3 CN 114399691 A 3