(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111643250.3 (22)申请日 2021.12.2 9 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路２ 号 (72)发明人 姚念民　方经义　 (74)专利代理 机构 辽宁鸿文知识产权代理有限 公司 21102 代理人 王海波 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/12(2017.01) G06T 7/13(2017.01) G06T 7/33(2017.01) G06T 3/40(2006.01)G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习与轮廓特征的医学图像 配准方法 (57)摘要 本发明属于医学图像配准领域， 涉及一种基 于深度学习与轮廓特征的医学图像配准方法。 本 发明在医学图像配准任务中引入了额外信息， 即 从医学图像的预先分割结果中提取出轮廓特征， 并利用该特征进行空间变换时的可微性构建损 失函数， 提高了医学图像的配准精度； 提出了一 种医学图像配准的网络框架， 将网络模型分为了 形变参数模 型和形变场平滑模型两个部分， 形变 参数模型可以构建对应像素之间精确的变形， 形 变场平滑模型用于对构建的形变场进行平滑性 约束； 交替优化的策略保证模型最终能收敛至更 为平滑的形变场， 得到更精确的配准结果。 权利要求书3页 说明书6页 附图2页 CN 114332018 A 2022.04.12 CN 114332018 A 1.一种基于深度学习与轮廓特 征的医学图像 配准方法， 其特 征在于， 包括如下步骤： 步骤(1)： 对医学图像数据集进行 预处理， 包括图像裁 剪、 归一化处理以及仿射配准； 步骤(2)： 根据图像预 先分割结果 提取其轮廓特 征， 构建对于轮廓特 征的相似性度量； 步骤(3)： 在预处理后的图像及其对应的轮廓特征中， 选取一对作为参考图像IF与参考 轮廓GF， 其它作为 浮动图像IM与浮动轮廓GM； 步骤(4)： 将参考图像IF与浮动图像IM作为神经网络的输入， 并加入其对应的轮廓特征 GF和GM作为额外信息辅助训练， 构建形变参数模型； 将参考图像IF与浮动图像IM作为神经网 络的输入， 不加入轮廓特征， 构建形变场平滑模型； 构建形变参数模 型和形变场平滑模型的 损失函数， 交替优化两个网络模型参数； 步骤(5)： 将待配准图像与参考图像输入训练好的形变场平滑模型， 得到待配准图像的 配准结果； 所述步骤(2)包括以下步骤： (2.1)获取每幅医学图像的分割结果， 并将其按相同类别对应同一灰度值的形式存 储； (2.2)对于医学图像的分割结果S， 使用Sobel算子对其进行边缘检测， 得到医学图像的 轮廓特征， 也即梯度图像G； Sob el算子包含两个卷积核， 分别为横向与 纵向卷积核； 分别将 横向与纵向卷积核同分割结果S做卷积运 算， 即： 其中， *为卷积运 算符， Gx和Gy分别为分割结果横向和纵向的梯度值； 根据所述两个梯度值， 计算得到每 个分割结果的梯度图像， 即轮廓特 征， 计算公式为： 对于三维医学图像， 将上述Sobel 算子转换为对应的三维进行运 算； (2.3)基于归一化互相关匹配算法描述轮廓特征相似度； 通过在两幅图像I1、 I2的相同 像素位置x处构建宽度为w的邻域匹配窗口， 建立 目标函数来度量该对窗口的相关性， 其目 标函数定义如下： 其中， Ω为像素位置集合， 和 分别为x邻域内的局部灰度 平均值， xi表示x邻 域内的像素位置； 将步骤(2.2)所得的轮廓特征作为参数计算NCC(G1,G2)， 得到每对轮廓特征的相似性度 量； 所述步骤(4)包括以下步骤： (4.1)构建形变参数模型： (4.1.1)将所述的参考图像IF与一个浮动图像IM在图像通道上进行合并， 得到一幅2通权　利　要　求　书 1/3 页 2 CN 114332018 A 2道的图像作为神经网络的输入层； (4.1.2)对网络的输入进行 下采样， 获得 下采样特 征图； (4.1.3)对步骤(4.1.2)所获得 下采样特 征图进行 上采样， 获得 上采样特 征图； (4.1.4)对上采样特征图进行进一步细化， 获得对应浮动图像IM到参考图像IF的形变场 φt； (4.1.5)将浮动图像IM和形变场φt输入到可微的空间变换网络， 同时将浮动图像IM对 应的轮廓特征GM和形变场φt输入到所述空间变换网络， 分别经过空间变换网络的空间变 换， 得到对应 变形后的图像 及其轮廓特 征 所述的空间变换网络为STN网络， 包含三个组成部分， 分别为本地化网络、 网格生成器 及采样器； STN网络首先使用本地化网络来预测所需的变换， 之后使用网格生成器和采样 器 对图片实施变换； 网格生成器采用线性插值方式进行插值； (4.2)构建形变场平滑模型： 构建形变场平滑模型的过程与步骤(4.1.1)至步骤 (4.1.4)相同， 模型的架构以及初始化参数也与形变参数模型完全相同； 输入的参考图像IF 与浮动图像IM经过形变场平 滑模型的计算， 得到对应输入图像尺寸的形变场φs； (4.3)交替优化网络模型参数： (4.3.1)根据输入的参考图像IF、 形变参数模型预测的形变场φt、 形变场平滑模型预测 的形变场φs、 以及应变形后的图像 及其轮廓特征 构建优化形变参数模型 的损失函数； 所述损失函数表达式定义如下： 其中， LI表示参考图像IF与变形后的图像 之间的相似性度量， LG表示参考图像IF 的轮廓特征GF与浮动图像IM的轮廓特征GM变形后的特征 之间的相似性度量， Ldist表 示形变参数模型预测的形变场φt与形变场平滑 模型预测的形变场φs之间的L2距离， α 、 β 为 控制损失函数 的超参数， γ为控制 两形变场之间差异的超参数， 表示允许形变场存在的不 确定性程度； 对于损失函数中的相似性度量LI与LG， 同时采用步骤(2.3)所述归一化互相关函数； 对 于损失函数中的L2 距离Ldist， 采用均值平方差损失， 所述损失函数定义如下： 其中， Ω为像素位置集 合， x为图像I1、 I2的相同像素位置； (4.3.2)根据步骤(4.3.1)得到的形变参数模型预测的形变场φt以及形变场平滑模型 预测的形变场φs， 构建优化形变场平 滑模型的损失函数； 所述损失函数表达式定义如下： Ls(φt,φs)＝γLdist(φt,φs)+σ LR(φs) 其中， Ldist表示形变参数模型预测的形变场φt与形变场平滑模型预测的形变场 φs之 间的L2距离， LR表示正则项损失， γ为控制两形变场之间差异的超参数， σ 为正则化控制 参 数； 对于损失函数中的L2距离Ldist， 采用步骤(4.3.1)所述的均值平方差损失； 对于损失函 数中的正则项损失LR， 定义如下：权　利　要　求　书 2/3 页 3 CN 114332018 A 3