(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111645024.9 (22)申请日 2021.12.2 9 (71)申请人 东南大学 地址 210000 江苏省南京市麒 麟科创园智 识路26号启迪城立 业园04幢 (72)发明人 张金霞　魏海坤　张侃健　陈丽萍　 周敏　 (74)专利代理 机构 南京众联专利代理有限公司 32206 代理人 叶涓涓 (51)Int.Cl. G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 10/776(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于全局相似度的深度网络特征改进 方法 (57)摘要 本发明提供了一种基于全局相似度的深度 网络特征改进方法， 包括： 将输入图像划分成网 格状图像块， 基于输入特征张量获取图像块的特 征张量； 对两特征通道数进行精简； 对两特征张 量进行变维， 得到特征矩阵； 基于特征矩阵， 在每 个像素点特征和每个图像块特征之间计算相似 度； 对相似度进行归一化得到相似度权重； 为每 个像素点计算加权特征， 进行矩阵变维， 得到加 权特征张量； 将加权特征张量中精简的特征通道 数变成初始的特征通道数； 计算改进后的特征张 量。 本发明基于像素点和图像块之间的两两相似 度对深度网络的输入特征进行改进， 充分考虑到 整个图像上不同区域间特征的依赖关系， 有助于 提高深度网络特征的表达能力， 改进深度网络在 图像识别上的性能。 权利要求书1页 说明书4页 附图2页 CN 114299298 A 2022.04.08 CN 114299298 A 1.一种基于全局相似度的深度网络特 征改进方法， 其特 征在于， 包括以下步骤： S1： 将输入图像划分成网格状的图像块， 并基于输入特征张量获取图像块的特征张量； 将输入图像的特征张量和图像块的特征张量进 行特征通道数的精简； 对输入图像的特征张 量和图像块的特 征张量进行变维， 得到 输入图像和图像块的特 征矩阵； S2： 基于输入图像和图像块的特征矩阵， 在每个像素点特征和每个 图像块特征之间计 算相似度； S3： 对相似度进行归一 化得到相似度权 重； S4： 为每个像素点计算加权特征， 权重为上一步骤中计算而得的相似度权重； 对加权特 征进行矩阵变维， 得到加权特征张量； 将加权特征张量中精简的特征通道数变成初始的特 征通道数； S5： 改进后的特 征张量等于变换后的加权特 征张量与初始的输入特 征张量之和。 2.根据权利要求1所述的一种基于全局相似度的深度网络特征 改进方法， 其特征在于， 所述步骤S1中， 输入图像的特征张量为F∈RCxHxW， 其中C代表特征通道数， H代表输入图像的 高， W代表输入图像的宽， RCxHxW代表具有三个维度的实数特征张量； 图像 块的特征张量为P∈ RCxGxG， 其中G代表图像块在高和宽上的个数， G≤H并且G≤W； 特征通道数的精简使用1x1的卷 积核， 精简后特征通道数从C变为C'， C'<C； 图像和图像块的特征矩阵中， 输入图像中一个元 素的特征用Fi表示， 1≤i≤ HW， 图像块中一个元 素的特征用Pj表示， 1≤j≤G2。 3.根据权利要求1所述的一种基于全局相似度的深度网络特征 改进方法， 其特征在于， 所述步骤S2中， 通过以下公式计算相似度： Sim(Fi,Pj)＝FiPjT 由此得到相似度矩阵 4.根据权利要求1所述的一种基于全局相似度的深度网络特征 改进方法， 其特征在于， 所述步骤S3中， 使用softmax函数进行归一 化， 得到的相似度权 重矩阵M表示 为： M＝softmax(Sim)。 5.根据权利要求1所述的一种基于全局相似度的深度网络特征 改进方法， 其特征在于， 所述步骤S4中， 一个 像素点的加权特 征等于所有相似图像块特 征的加权和， 计算公式如下： 变成初始的特征通道数的过程使用1x1的卷积核， 特征通道数C'变成初始的特征通道 数C。 6.根据权利要求1所述的一种基于全局相似度的深度网络特征 改进方法， 其特征在于， 所述步骤S5通过以下公式计算： Frefined＝Fweighted+F 其中， Frefined为改进后的特征张量， Fweighted为变换后的加权特征张量， F为初始的输入 特征张量。权　利　要　求　书 1/1 页 2 CN 114299298 A 2一种基于全局相似度的深度网 络特征改进方 法 技术领域 [0001]本发明涉及 一种基于全局相似度的深度网络特征改进方法， 属于图像处理技术领 域。 背景技术 [0002]卷积神经网络已经在计算机视觉和图像处理领域获得了广泛的应用， 并使图像识 别的性能得到了突飞猛进。 深度卷积神经网络通过将网络的深度加深， 能够更有效地提取 高层语义特征， 从而进一步提高图像识别的性能。 现在已有很多研究工作基于深度卷积神 经网络对计算机 视觉和图像进行处 理。 [0003]在深度网络中， 基础的模块是卷积模块。 卷积操作通常基于一个小的卷积核与小 的局部图像滑动窗进行计算。 所以， 图像全局范围内的长距离依赖关系只能通过重复的卷 积操作进行间接地获取。 而重复的局部操作很容易使得图像的深层特征变得模糊， 从而导 致一些细长物体的特 征在深层中消失。 发明内容 [0004]为解决上述问题， 本发明提供一种基于全局相似度的深度网络特征改进方法， 基 于像素点和图像块之间的两两相似度对深度网络的输入特征进行改进， 能够充分考虑到整 个图像上不同区域间特征 的依赖关系， 有助于提高深度网络特征 的表达能力， 改进深度网 络在图像识别上的性能。 [0005]为了达到上述目的， 本发明提供如下技 术方案： [0006]一种基于全局相似度的深度网络特 征改进方法， 包括以下步骤： [0007]S1： 将输入图像划分成网格状 的图像块， 并基于输入特征张量获取图像块的特征 张量； 将输入图像的特征张量和图像块的特征张量进行特征通道数 的精简； 对输入图像的 特征张量和图像块的特 征张量进行变维， 得到 输入图像和图像块的特 征矩阵； [0008]S2： 基于输入图像和图像块的特征矩阵， 在每个像素点特征和每个图像块特征之 间计算相似度； [0009]S3： 对相似度进行归一 化得到相似度权 重； [0010]S4： 为每个像素点计算加权特征， 权重为上一步骤中计算而得的相似度权重； 对加 权特征进行矩阵变维， 得到加权特征张量； 将加权特征张量中精简的特征通道数变成初始 的特征通道数； [0011]S5： 改进后的特 征张量等于变换后的加权特 征张量与初始的输入特 征张量之和。 [0012]进一步的， 所述步骤S1中， 输入图像的特征张量为F∈RCxHxW， 其中C代表特征通道 数， H代表输入图像的高， W代表输入图像的宽， RCxHxW代表具有三个维度的实数特征张量； 图 像块的特征张量为P∈RCxGxG， 其中G代表图像 块在高和宽上的个数， G≤H并且G≤ W； 特征通道 数的精简使用1x1的卷积核， 精简后特征通道数从C变为C'， C'<C； 图像和图像块的特征矩阵 中， 输入图像 中一个元素的特征用Fi表示， 1≤i≤HW， 图像块中一个元素的特征用Pj表示， 1说　明　书 1/4 页 3 CN 114299298 A 3