(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111637840.5 (22)申请日 2021.12.2 9 (71)申请人 桂林远望智能通信科技有限公司 地址 541004 广西壮 族自治区桂林市七 星 区朝阳路信息产业园漓江科技园科研 楼二楼 (72)发明人 蔡晓东　黄庆楠　 (74)专利代理 机构 北京轻创知识产权代理有限 公司 11212 代理人 尉保芳 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种情绪识别方法、 装置以及存 储介质 (57)摘要 本发明提供一种情绪识别方法、 装置以及存 储介质， 属于图片识别技术领域， 方法包括： S1： 导入多个情绪样本图片， 分别对多个情绪样本图 片进行筛选分析， 得到困难样本图片； S2： 基于 卷 积神经网络， 通过卷积神经网络分别对多个困难 样本图片进行困难样本图片的特征提取， 得到困 难样本特征； S3： 基于情绪 分类模型， 根据多个困 难样本特征对情绪分类模型进行训练， 得到情绪 识别模型； S4： 将多个困难样本特征输入至情绪 识别模型进行识别， 得到识别结果。 本发明提高 了分类模型对复杂情绪识别的准确性， 同时， 在 复合样本的情绪识别中也有一定的帮助。 权利要求书2页 说明书6页 附图1页 CN 114387645 A 2022.04.22 CN 114387645 A 1.一种情绪识别方法， 其特 征在于， 包括如下步骤： S1： 导入多个情绪样本图片， 分别 对多个所述情绪样本图片进行筛选分析， 得到与所述 情绪样本图片对应的困难样本图片； S2： 基于卷积神经网络， 通过所述卷积神经网络分别对多个所述困难样本图片进行困 难样本图片的特 征提取， 得到与所述困难样本图片对应的困难样本特 征； S3： 基于情绪分类模型， 根据多个所述困难样本特征对所述情绪分类模型进行训练， 得 到情绪识别模型； S4： 将多个所述困难样本特 征输入至所述情绪识别模型进行识别， 得到识别结果。 2.根据权利要求1所述的情绪识别方法， 其特征在于， 所述步骤S1中， 分别对多个所述 情绪样本图片进行筛 选分析， 得到与所述情绪样本图片对应的困难样本图片的过程包括： 通过所述卷积神经网络分别对多个所述情绪样本图片进行情绪样本图片的特征提取， 得到与所述情绪样本图片对应的情绪样本特 征； 通过所述情绪分类模型分别对多个所述情绪样本特征进行情绪样本特征的分类处理， 得到与所述情绪样本图片对应的第一分类概 率； 导入与所述情绪样本图片对应的标签， 分别计算多个所述第 一分类概率和与 所述第一 分类概率对应的标签的损失值， 得到与所述情绪样本图片对应的第一损失值； 当所述第一损失值大于预设困难样本判断值 时， 则将所述第 一损失值对应的情绪样本 图片作为困难样本图片。 3.根据权利要求1所述的情绪识别方法， 其特 征在于， 所述 步骤S3的过程包括： 通过GRU门控循环单元分别对多个所述困难样本特征进行解码， 得到与所述困难样本 特征对应的多个情绪分数； 分别筛选与 所述困难样本特征对应的多个情绪分数的最大值， 筛选后得到与 所述困难 样本特征对应的最大情绪分数； 通过情绪分类模型分别对多个所述最大情绪分数进行最大情绪分数的分类处理， 得到 与所述困难样本特 征对应的分类概 率； 分别计算多个所述分类概 率的损失值， 得到与所述困难样本特 征对应的第二损失值； 对多个所述第二损失值进行判断分析， 得到情绪识别模型。 4.根据权利要求3所述的情绪识别方法， 其特征在于， 所述通过情绪分类模型分别对多 个所述最大情绪分数进行最大情绪分数的分类处理， 得到与所述困难样本特征对应的分类 概率的过程包括： 通过第一式分别对多个所述最大情绪分数进行最大情绪分数的计算， 得到与 所述困难 样本特征对应的分类概 率， 所述第一式为： Pi＝Eimax/10 0， 其中， Pi为第i个 困难样本图片对应的分类概率， Eimax为第i个 困难样本图片对应的最 大情绪分数。 5.根据权利要求3所述的情绪识别方法， 其特征在于， 所述分别计算多个所述分类概率 的损失值， 得到与所述困难样本特 征对应的第二损失值的过程包括： 通过第二式分别计算多个所述分类概率的损失值， 得到与所述困难样本特征对应的第 二损失值， 第二式为：权　利　要　求　书 1/2 页 2 CN 114387645 A 2FLi＝‑(1‑Pi)γlog(Pi)， 其中， FLi为第i个困难样本图片对应的第二损失值， Pi为第i个困难样本特征对应的分 类概率， γ为参数， γ>1， 且γ为整数。 6.根据权利要求3所述的情绪识别方法， 其特征在于， 所述对多个所述第 二损失值进行 判断分析， 得到情绪识别模型的过程包括： 判断所有的第二损 失值是否均小于预设情绪识别阈值， 若是， 则将所述情绪分类模型 作为情绪识别模型； 若否， 则根据多个所述第二损失值对所述情绪分类模型进 行参数更新， 并返回步骤S2。 7.一种情绪识别装置， 其特 征在于， 包括： 筛选分析模块， 用于导入多个情绪样本 图片， 分别对多个所述情绪样本 图片进行筛选 分析， 得到与所述情绪样本图片对应的困难样本图片； 特征提取模块， 用于基于卷积神经网络， 通过所述卷积神经网络分别对多个所述困难 样本图片进行困难样本图片的特 征提取， 得到与所述困难样本图片对应的困难样本特 征； 模型训练模块， 用于基于情绪分类模型， 根据多个所述困难样本特征对所述情绪分类 模型进行训练， 得到情绪识别模型； 识别结果获得模块， 用于将多个所述困难样本特征输入至所述情绪识别模型进行识 别， 得到识别结果。 8.根据权利要求7 所述的情绪识别装置， 其特 征在于， 所述筛 选分析模块用于： 通过所述卷积神经网络分别对多个所述情绪样本图片进行情绪样本图片的特征提取， 得到与所述情绪样本图片对应的情绪样本特 征； 通过所述情绪分类模型分别对多个所述情绪样本特征进行情绪样本特征的分类处理， 得到与所述情绪样本图片对应的第一分类概 率； 导入与所述情绪样本图片对应的标签， 分别计算多个所述第 一分类概率和与 所述第一 分类概率对应的标签的损失值， 得到与所述情绪样本图片对应的第一损失值； 当所述第一损失值大于预设困难样本判断值 时， 则将所述第 一损失值对应的情绪样本 图片作为困难样本图片。 9.一种情绪识别系统， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理 器上运行的计算机程序， 其特征在于， 当所述处理器执行所述计算机程序时， 实现如权利要 求1至6任一项所述的情绪识别方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 当所述计算机程序被处 理器执行时， 实现如权利要求1至 6任一项所述的情绪识别方法。权　利　要　求　书 2/2 页 3 CN 114387645 A 3