(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111622565.X (22)申请日 2021.12.28 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 武汉大学 (72)发明人 宫一平　程昫　高云龙　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 罗飞 (51)Int.Cl. G06T 7/12(2017.01) G06T 5/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种古城 城垛自动提取方法 (57)摘要 本发明涉及一种古城城垛自动提取方法。 通 过提出一种边缘增强的改进MaskRCNN算法， 提高 2D物体分割精度， 并将分割结果投射到三维模型 上， 获得三维物体碎片， 根据连通性剔除由于分 割结果不准确而产生的噪声碎片， 根据几何位置 上的重叠关系聚合来自不同视角的三维物体碎 片， 建立完整的三维物体。 本发明在MaskRCNN框 架基础上， 增加了边缘增强模块， 提高了二维图 像分割精度； 对进行城垛的识别与提取不需要人 工干预， 节省了人力物力， 提高了城垛提取的效 率。 权利要求书2页 说明书4页 附图3页 CN 114511582 A 2022.05.17 CN 114511582 A 1.一种古城 城垛自动提取 方法， 其特 征在于， 包括以下步骤： 步骤1， 利用倾斜摄影测量技术生成场景三维模型， 利用数据标注工具制作二维图像城 垛提取的训练集和 测试集， 并利用数据增强方法增强训练数据集的多样性； 步骤2， 利用训练集图像对改进后带有边缘增强模块的Mask ‑RCNN实例分割模型进行训 练； 步骤3， 使用训练好的实例分割模型对测试集中的图像进行实例分割， 得到城垛在各测 试集图像上的掩膜； 步骤4， 三维对象提取， 包括以下几个步骤： 步骤4.1， 通过光线求交方法， 将步骤3分割得到的掩膜结果投影到三维模型 上； 步骤4.2， 根据连通 性剔除由于二维分割结果 不准确而产生的噪声碎片； 步骤4.3， 利用碎片重叠度和碎片的三维包围盒重叠度， 对掩膜 投影产生的三维模型碎 片进行聚合， 最终完成城垛对象的自动提取。 2.如权利 要求1所述的一种古城城垛自动提取方法， 其特征在于： 步骤2中Mask ‑RCNN是 典型的卷积神经网络， 首先将待检测的图像经过特征提取网络进行特征提取， 接着经区域 建议网络生成候选区域， 由于生成的候选区域具有高度的重叠， 因此利用非极大值抑制算 法进行抑制， 然后对经抑制处理后剩余的候选区域进行ROIAlign池化， 最后对候选区域通 过Softmax分类器进行分类， 利用多任务损失边框回归算法得到检测边框的坐标， 并利用全 卷积分割网络生成掩膜。 3.如权利要求2所述的一种古城城垛自动提取方法， 其特征在于： 步骤2中为了提高物 体边缘的分割精度， 基于经典MaskRCNN框架， 增加一个边缘增强的拓展模块对掩膜预测分 支的损失函数Lossmask进行改进， 首先在训练过程中对标签图像做卷积运算， 提取图像梯 度， 得到像素的权重， 然后在 掩膜预测分支中使用加权二元 交叉熵损失函数， 从而 赋予边缘 像素更大的权重， 以加强训练过程中对边 缘像素的学习； 加权二元交叉熵损失函数计算公式如下： 式中， Lossmask(y,p)表示损失函数， N代表像素总数， Wi为卷积运算得到的像素权重， yi 表示第i个 像素的标签值， pi是网络分类分支预测的概 率。 4.如权利要求3所述的一种古城城垛自动提取方法， 其特征在于： 步骤2中卷积运算使 用的是5×5sobel算子， 卷积运 算计算公式如下： 式中， Wi为卷积运算得到的第i个像素的权重， 为5×5sobel算子， Ii表示标签图像， ☉为卷积符号； 梯度包含丰富的边缘信息， 表明不同位置像素的特征复杂性， 边缘增强拓展模块使用 梯度值作为像素权 重， 可以不同程度地加强物体的各区域， 从而提高物体的分割的准确性。 5.如权利要求1所述的一种古城城垛自动提取方法， 其特征在于： 步骤4.2中由于二维 分割结果的不准确， 导致在真实物体周围存在噪声碎片， 这些噪声碎片与物体分离， 并且比 物体的三角面片数量少； 将同一视角下的碎片分为一组， 并把所有碎片按照连通性划分， 保权　利　要　求　书 1/2 页 2 CN 114511582 A 2留每组中拥有最多三角面片的碎片为目标对象， 从而剔除噪声碎片。 6.如权利要求1所述的一种古城城垛自动提取方法， 其特征在于： 步骤4.3中包括以下 几个步骤： 步骤4.3.1， 利用碎片重 叠度对同侧三维物体碎片进行聚合； 定义两个碎片的重叠度为两个碎片中共同的三角面片数与三角面片总数之比， 当重叠 度大于T1时， 将两个碎片视为 同一对象进行合并， 遍历三维物体同侧的所有碎片执行合并 操作， 迭代该 过程直至没有碎片被合并； 步骤4.3.2， 利用碎片的三维包围盒重 叠度对异侧三维物体碎片进行聚合； 定义两个碎片的三维包围盒重叠度为两包围盒相交体积与体积和之比， 对于城垛墙体 两侧的碎片， 公共三角面片存在于城垛的顶部， 根据碎片的三维坐标生成碎片的三维包围 盒， 将三维包围盒重叠度大于T2的碎片聚合为一个对象， 迭代执行碎片合 并操作， 直至没有 碎片被合并。权　利　要　求　书 2/2 页 3 CN 114511582 A 3