(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111637774.1 (22)申请日 2021.12.2 9 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 宋子辰　李宏亮　孟凡满　吴庆波　 许林峰　潘力立　王岚晓　 (74)专利代理 机构 电子科技大 学专利中心 51203 专利代理师 吴姗霖 (51)Int.Cl. G06T 7/10(2017.01) G06T 5/50(2006.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多层级边缘预测的人体解析模型 及方法 (57)摘要 本发明的目的在于提供一种基于多层级边 缘预测的人体解析模型及方法， 属于计算机视觉 中的语义分割技术领域。 该模型通过人体多层级 部件预测模块利用了人体结构化信息， 提高了人 体易混淆部件的判别能力， 通过人体多层级边缘 预测模块同时利用了人体结构化信息和边缘信 息， 提高了人体部件边缘像素的分类能力， 通过 多层级信息双向注意力交互模块和自适应门融 合解析模块， 进一步提高了人体解析的部件准确 性， 具有部件边缘分割清晰和部件类别解析准确 等特点。 相比现有人体解析方法， 本发明所述模 型在参数量大致相同的情况 下更具性能优势。 权利要求书2页 说明书6页 附图2页 CN 114511573 A 2022.05.17 CN 114511573 A 1.一种基于多层级边缘预测的人体解析模型， 其特征在于， 包括人体图像预处理模块、 高分辨率深度特征提取模块、 多尺度上下文 特征增强模块、 人体多层级部件预测模块、 人体 多层级边 缘预测模块、 多层级信息双向注意力交 互模块和自适应门融合 解析模块； 其中， 所述人体图像预处理模块用于对人体图片进行预处理， 得到所需人体图像； 所述 高分辨率深度特征提取模块用于提取 统一尺寸的人体图像特征； 所述多尺度上下文特征增 强模块用于对提取的人体图像特 征处理得到多尺度上 下文信息增强的图像特 征； 所述人体多层级部件预测模块包括三个层级子模块， 每个子模块具有一个3 ×3卷积‑ 批量归一化 ‑ReLU层， 一个SE模块， 一个Dropout层， 一个1x1卷积层， 一个线性插值上采样层 和一个Softmax分类层； 该模块对输入的多尺度上下文信息增强的图像特征， 通过3 ×3卷 积‑批量归一化 ‑ReLU层特征变换后得到初步部件特征； 初步部件特征输入所述多层 级信息 双向注意力交互模块得到边缘信息交互增强的部件 特征， 然后输入S E模块通过通道注意力 机制对增强部件特征进行加权； 最后输入Dropout层和1x1卷积层得到多层级部件预测结 果， 线性插值上采样层用于将多层 级部件预测部件 结果上采样 到原图分辨率， Softmax分类 层用于输出归一 化的部件分类概 率； 所述人体多层级边缘预测模块包括三个层级子模块， 每个子模块具有三个连续3 ×3卷 积‑批量归一化 ‑ReLU层， 一个Dropout层， 一个1x1卷积层， 一个线性插值上采样层和一个 Sigmoid层； 该模块对输入的多尺度上下文信息增强的图像特征， 通过3 ×3卷积‑批量归一 化‑ReLU层特征变换后得到初步边缘特征； 初步边缘特征输入所述多层级信息双向注意力 交互模块得到部件信息交互增强的边缘特征， 最后输入Dr opout层和1x1卷积层得到多层 级 边缘预测结果； 线性插值上采样层用于将预测边缘结果上采样 到原图分辨率， Sigmoid层用 于输出0‑1区间的像素边 缘概率； 所述多层级信 息双向注意力交互模块包括三个层级子模块， 每个子模块具有两个全局 池化层， 四个全连接层， 两个ReLU层和两个Sigmoid层； 用于将初步边缘特征进行处理得到 部件信息交互增强后的边缘特征， 将初步部件特征进 行处理得到边缘信息交互增强后的部 件特征； 所述自适应门融合解析模块包括两个门融合子模块和一个最终解析子模块； 每个门融 合子模块包括3 ×3卷积‑批量归一化 ‑ReLU层和Sigmoid层， 最终解析子模块包括一个3 ×3 卷积‑批量归一化 ‑ReLU层， 一个Dr opout层， 一个1x1卷积层和一个线性插值上采样层； 所述 自适应门融合解析模块通过两个门融合子模块将输入的边缘信息交互增强后的多层级部 件特征进行两次门融合， 首先对第一层级特征和第二层级特征进行门融合， 再将 融合结果 与第三层级特征进行门融合， 两次门融合后的特征输入最终解析子模块， 即可输出原图分 辨率的最终人体解析 结果。 2.如权利要求1所述的人体解析模型， 其特征在于， 所述人体图像预处理模块进行预处 理主要包括对图像进行归一化处理、 多尺度随机放缩或随机翻转， 得到固定尺寸的人体图 像。 3.如权利要求1所述的人体解析模型， 其特 征在于， 人体解析模型的损失函数设置为： Ltotal＝Lseg+α Ledge； 其中， Lseg表示人体多层级部件预测模块的交叉熵损失， Ledge表示人体多层级边缘预测 模块的交叉熵损失， α 为预置损失系数，权　利　要　求　书 1/2 页 2 CN 114511573 A 2其中， N为图像像素个数， C为部件类别个数， i和j 分别为第i和j列的像素， xi,j为部件预 测概率， yi为部件标签； qi为边缘预测概 率， pi为边缘标签。 4.如权利要求1所述的人体解析模型， 其特征在于， 所述多层级信 息双向注意力交互模 块将边缘特征进 行处理得到增强后的部件特征的具体过程为： 首先将边缘特征输入全局池 化层得到1x1特征谱， 再通过全连接 ‑ReLU‑全连接层转化特征， 然后通过Sigmoid层得到通 道注意力谱， 最后将该注意力谱与部件特 征点乘， 即可 得到增强后的部件特 征； 部件特征进行处理得到增强后的边缘特征的具体过程为： 首先将部件特征输入全局池 化层得到1x1特征谱， 再通过全连接 ‑ReLU‑全连接层转化特征， 然后通过Sigmoid层得到通 道注意力谱， 最后将该注意力谱与边 缘特征点乘， 即可 得到增强后的边 缘特征。 5.一种人体解析模型的构建方法， 其特 征在于， 包括以下步骤： 步骤1.选择训练数据集； 步骤2.构建如权利要求1～4任一权利要求所述的人体解析模型的网络结构； 步骤3.训练步骤2的人体解析模型的网络结构， 直至模型网络收敛， 网络参数固定； 步骤4.在测试集上验证网络参数固定的人体解析模型， 得到所需的人体解析模型。 6.如权利要求5所述的人体解析模型的构建方法， 其特征在于， 步骤3中网络结构超参 数包括： 选择梯度下降方法， 并设置学习率的更新方式、 最大训练迭代次数和损失函数。 7.一种基于多层级边 缘预测的人体解析模型的解析 方法， 其特 征在于， 包括以下步骤： 步骤1.采集训练数据集， 并对数据集中的训练数据进行图像预处理， 生成得到所需人 体图像； 预处 理包括对图像进行归一 化处理、 多尺度随机放缩、 随机翻转； 步骤2.基于所需人体 图像， 对如权利要求5所述的构建方法构建的人体解析模型进行 网络训练， 当网络训练满足预设的精度要求时， 保存训练好的人体解析模型作为人体解析 器； 步骤3.将待解析的图像进行图像数据预处理， 然后输入步骤2得到的人体解析器， 即可 得到人体解析图像结果。权　利　要　求　书 2/2 页 3 CN 114511573 A 3