(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111633768.9 (22)申请日 2021.12.28 (71)申请人 天翼电子商务有限公司 地址 102200 北京市昌平区未来科技城南 区中国电信集团公司院内 (72)发明人 张帅　周松　方徐伟　徐小龙　 谢巍盛　 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/136(2017.01) G06T 7/194(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01)G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 一种基于深度学习的乳腺病变风险评估系 统 (57)摘要 本发明公开了一种基于深度学习的乳腺病 变风险评估系统， 它涉及深度学习、 计算机视觉、 医疗影像领域。 提出了trans ‑unet结构， 使用了 Transformers加强编码部分之间的全局连接， 使 得提取的图像特征更具有表征性， 并且融入了 attention机制， 有助于对于图像细节特征的提 取， 然后通过将浅层特征和深层特征的结合， 这 样一来特征表达更加充分， 并且对小目标的分割 刻画会更加准确； 在分类模型EfficientNet中， 融入了一种新的模型缩放方法， 基于神经网络结 构搜索技术先得到一组复合系数， 再确定出网络 的结构， 所以EfficientNet不仅比别的网络 快而 且与数据贴合度好， 所以精度更高。 权利要求书2页 说明书5页 附图4页 CN 114529505 A 2022.05.24 CN 114529505 A 1.一种基于深度学习的乳腺病变风险评估系统， 其特征在于， 包括数据预处理、 乳腺 ROI区域分割 、 特征提取与分割模型构建和分类模型训练。 2.根据权利要求1所述的一种基于深度 学习的乳腺病变风险评估系统， 其特征在于， 所 述的数据预处 理具体包括以下步骤： (1.1)归一 化处理训练集中乳腺钼靶图像 计算训练集中每一张钼靶图像的像素平均值， 将低于平均值的所有像素置为0， 并将其 余像素值线性缩放至 0‑255强度范围； (1.2)数据增强 将步骤(1.1)中处理过的图像及其对应的标签数据使用几何变换(平移、 翻转、 旋转)方 法对图像进行 数据增强， 得到扩充后的训练集。 3.根据权利要求1所述的一种基于深度 学习的乳腺病变风险评估系统， 其特征在于， 所 述的乳腺ROI区域分割使用最大类间方差法(OSTU)对乳 腺ROI区域进行分割； 它按照图像的 灰度特性， 将图像分成背 景和目标两部 分， 使背景和目标的灰度值差异越大越好， 同一部分 的灰度值差异越小越好， 通过方差计算出一个合适的阈值进行背景目标划分； OSTU算法流 程如下： (2.1)计算图像的直方图 将图像所有的像素点按照0～ 255共256个bin， 统计落在每 个bin的像素点数量； (2.2)归一 化直方图 用每个bin中的像素点数量除以总像素点和， 将其范围缩放到 0到1之间； (2.3)从0开始迭代背景目标分类阈值 i； (2.4)通过归一 化的直方图 统计0到i范围内的像素所占整幅图像的比例w0， 并统计背景像素的平均值u0； 统计i到 255范围内的像素所占整幅图像的比例w1， 并统计背景像素的平均值u1； 图像的平均灰度为 u2， 类间方差记为g， 其中， u2＝w0*u0+w1*u1 g＝w0(u0‑u2)+w1(u1‑u2) 将u2代入g中， 可得 g＝w0*w1(u0‑u1)2； (2.5)将阈值 i加1， 重复步骤四过程； (2.6)将最大g对应的i 值作为图像的全局阈值。 4.根据权利要求1所述的一种基于深度 学习的乳腺病变风险评估系统， 其特征在于， 所 述的特征提取与分割模 型构建在分割模 型部分采用了一种transformer和unet相结合的结 构， 具体网络架构如下： 该网络使用卷积操作来 获取特征图， 然后使用这些特征图对输入钼 靶图片的patch进行编码； Transformers加强编码 部分之间的全局连接， 这使 得图像特征足 够可见， 并且self ‑attention机制更有利于细节分割； 在解码 部分， 底部上采样保留ClawU ‑ Net模块， 深度特征图结合浅层， 实现精准定位； 最后， 编码部分， 上采样部分和对应层的解 码部分组合在一 起， 达到恢复图像分辨 率的目的。 5.根据权利要求1所述的一种基于深度 学习的乳腺病变风险评估系统， 其特征在于， 所 述的分类模 型训练将分割模 型定位出的的病灶区域切割出来， 缩放到128 *128的小图， 用于 训练分类模型；权　利　要　求　书 1/2 页 2 CN 114529505 A 2该网络的输入为上一步中分割模型分割出来的病灶区域图像， 输出为1*6的向量(分为 六类)； 病灶图像经 过模型特征提取后， 最后由softmax,输出 预测的label。权　利　要　求　书 2/2 页 3 CN 114529505 A 3