(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111645521.9 (22)申请日 2021.12.2 9 (71)申请人 山西大学 地址 030006 山西省太原市小店区坞城路 92号 (72)发明人 魏巍　游戈　李琳　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 代理人 赵兴华 (51)Int.Cl. G06F 16/583(2019.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/74(2022.01) (54)发明名称 一种基于难样本挖掘的图像检索方法及系 统 (57)摘要 本发明涉及一种基于难样本挖掘的图像检 索方法及系统， 首先构建初始深度学习网络， 所 述深度学习网络包括初始主干网络、 初始嵌入层 和初始分类层； 然后基于A M‑Softmax损失函数对 所述深度学习网络进行训练， 得到训练深度学习 网络， 所述训练深度学习网络包括训练主干网 络、 训练嵌入层和训练分类层； 再基于所述训练 分类层的参数， 对所述训练嵌入层进行训练， 得 到收敛嵌入层， 基于所述训练主干网络、 所述收 敛嵌入层和所述训练分类层构建收敛深度学习 网络； 最后基于所述收敛深度学习网络， 得到待 挖掘图像集中每个图像的特征向量， 进一步得到 每个图像的相似度。 本发明加速了深度学习模型 的收敛， 提高了图像 检索技术的性能。 权利要求书2页 说明书7页 附图2页 CN 114297431 A 2022.04.08 CN 114297431 A 1.一种基于难样本挖掘的图像 检索方法， 其特 征在于， 包括： 构建初始深度学习 网络， 所述深度学习 网络包括初始主干网络、 初始嵌入层和初始分 类层； 基于AM‑Softmax损失函数对所述深度学习网络进行训练， 得到训练深度学习网络， 所 述训练深度学习网络包括训练主干网络、 训练嵌入层和训练分类层； 基于所述训练分类层的参数， 对所述训练嵌入层进行训练， 得到收敛嵌入层， 基于所述 训练主干网络、 所述收敛嵌入层和所述训练分类层构建收敛深度学习网络； 基于所述收敛深度学习 网络， 得到待挖掘图像集中每个图像的特征向量， 进一步得到 每个图像的相似度。 2.根据权利要求1所述的基于难样本挖掘的图像检索方法， 其特征在于， 所述基于AM ‑ Softmax损失函数对 所述深度学习网络进 行训练， 得到训练深度学习网络， 所述训练深度学 习网络包括训练主干网络、 训练嵌入层和训练分类层， 包括： 基于所述AM ‑Softmax损失函数获取当前迭代下 所述初始深度学习网络的第一损失值； 对所述第 一损失值进行判断， 若所述第一损失值小于第 一损失设定值， 则结束训练， 得 到所述训练深度学习网络； 若所述第一损失值大于或等于所述第一损失设定值， 则继续进 行迭代优化， 直至所述第一损失值小于所述第一损失设定值； 所述训练深度学习网络包括 所述训练主干网络、 所述训练嵌入层和所述训练分类层。 3.根据权利要求1所述的基于难样本挖掘的图像检索方法， 其特征在于， 所述基于所述 训练分类层的参数， 对所述训练嵌入层进行训练， 得到收敛嵌入层， 基于所述训练主干网 络、 所述收敛嵌入层和所述训练分类层构建收敛深度学习网络， 包括： 基于所述训练分类层的参数， 得到 两个训练样本的困难值； 计算两个训练样本之间的余弦相似度， 基于所述困难值和所述余弦相似度， 构建加权 对比损失函数； 基于所述加权对比损失函数获取当前迭代下 所述训练嵌入层的第二损失值； 对所述第 二损失值进行判断， 若所述第二损失值小于第 二损失设定值， 则结束训练， 得 到所述收敛嵌入层； 若所述第二损失值大于或等于所述第二损失设定值， 则继续进行迭代 优化， 直至所述第二损失值小于所述第二损失设定值； 基于所述训练主干网络、 所述收敛嵌入层和所述训练分类层构建所述收敛深度 学习网 络。 4.根据权利要求1所述的基于难样本挖掘的图像检索方法， 其特征在于， 所述基于所述 收敛深度学习网络， 得到待挖掘图像集中每个图像的特征向量， 进一步得到每个图像的相 似度， 包括： 将所述待挖掘图像集输入所述收敛深度学习网络， 得到所述待挖掘图像集中每个图像 的特征向量； 将需求图像输入所述收敛深度学习网络， 得到所述需求图像的特 征向量； 基于每个图像的特征向量和所述需求图像的特征向量， 得到所述需求图像与 所述待挖 掘图像集中每 个图像的相似度。 5.一种基于难样本挖掘的图像 检索系统， 其特 征在于， 包括： 构建模块， 构建初始深度 学习网络， 所述深度 学习网络包括初始主干网络、 初始嵌入层 和初始分类层；权　利　要　求　书 1/2 页 2 CN 114297431 A 2第一训练模块， 基于AM ‑Softmax损失函数对所述深度学习网络进行训练， 得到训练深 度学习网络， 所述训练深度学习网络包括训练主干网络、 训练嵌入层和训练分类层； 第二训练模块， 基于所述训练分类层的参数， 对所述训练嵌入层进行训练， 得到收敛嵌 入层， 基于所述训练主干网络、 所述收敛嵌入层和所述训练分类层构建收敛深度学习网络； 相似度模块， 基于所述收敛深度学习网络， 得到待挖掘图像集中每个图像的特征向量， 进一步得到每 个图像的相似度。 6.根据权利要求5所述的基于难样本挖掘的图像检索系统， 其特征在于， 所述第 一训练 模块包括： 第一损失单元， 基于所述AM ‑Softmax损失函数获取当前迭代下所述初始深度学习网络 的第一损失值； 第一判断单元， 对所述第 一损失值进行判断， 若所述第 一损失值小于第 一损失设定值， 则结束训练， 得到所述训练深度学习网络； 若所述第一损失值大于或等于所述第一损失设 定值， 则继续进行迭代优化， 直至所述第一损失值小于所述第一损失设定值； 所述训练深度 学习网络包括所述训练主干网络、 所述训练嵌入层和所述训练分类层。 7.根据权利要求5所述的基于难样本挖掘的图像检索系统， 其特征在于， 所述第 二训练 模块包括： 困难值单 元， 基于所述训练分类层的参数， 得到 两个训练样本的困难值； 损失函数构建单元， 计算两个训练样本之间的余弦相似度， 基于所述困难值和所述余 弦相似度， 构建加权对比损失函数； 第二损失单元， 基于所述加权对比损失函数获取当前迭代下所述训练嵌入层的第 二损 失值； 第二判断单元， 对所述第 二损失值进行判断， 若所述第 二损失值小于第 二损失设定值， 则结束训练， 得到所述收敛嵌入层； 若 所述第二损失值大于或等于所述第二损失设定值， 则 继续进行迭代优化， 直至所述第二损失值小于所述第二损失设定值； 构建单元， 基于所述训练主干网络、 所述收敛嵌入层和所述训练分类层构建所述收敛 深度学习网络 。 8.根据权利要求5所述的基于难样本挖掘的图像检索系统， 其特征在于， 所述相似度模 块包括： 特征单元， 将所述待挖掘图像集输入所述收敛深度学习 网络， 得到所述待挖掘图像集 中每个图像的特征向量； 将需求图像输入所述收敛深度学习网络， 得到所述需求图像的特 征向量； 相似度单元， 基于每个图像的特征向量和所述需求图像的特征向量， 得到所述需求图 像与所述待挖掘图像集中每 个图像的相似度。权　利　要　求　书 2/2 页 3 CN 114297431 A 3