(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111634622.6 (22)申请日 2021.12.2 9 (71)申请人 北京深睿博 联科技有限责任公司 地址 102209 北京市昌平区北七家镇七北 路42号院4 号楼3层3单 元309 申请人 杭州深睿博 联科技有限公司 (72)发明人 何福金　吴子丰　俞益洲　李一鸣　 乔昕　 (74)专利代理 机构 北京天方智力知识产权代理 事务所(普通 合伙) 11719 专利代理师 路远 (51)Int.Cl. G06T 7/155(2017.01) G06V 10/40(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于特征融合的图像分割方法及装置 (57)摘要 本发明提供一种基于特征融合的图像分割 方法及装置。 所述方法包括以下步骤： 实时获取 由深度相机输入的RGB图像和深度图像； 分别对 RGB图像和深度图像进行特征提取； 对提取的RGB 图像特征和深度图像特征进行融合， 并基于融合 特征进行图像分割。 本发明在RGB图像特征和深 度图像特征融合的基础上进行图像 分割， 由于利 用了图像的深度信息， 提高了图像分割精度。 权利要求书2页 说明书6页 附图2页 CN 114529569 A 2022.05.24 CN 114529569 A 1.一种基于特 征融合的图像分割方法， 其特 征在于， 包括以下步骤： 实时获取由深度相机 输入的RGB图像和深度图像； 分别对RGB图像和深度图像进行 特征提取； 对提取的RGB图像特 征和深度图像特 征进行融合， 并基于融合特 征进行图像分割。 2.根据权利要求1所述的基于特征融合的图像分割方法， 其特征在于， 所述特征提取为 多尺度特 征提取。 3.根据权利要求2所述的基于特征融合的图像分割方法， 其特征在于， 所述对提取的 RGB图像特 征和深度图像特 征进行融合的方法包括： 分层融合： 对每层相同尺度的RGB图像特征和 深度图像特征进行融合， 得到多个不同尺 度的融合特 征； 多层融合： 对所述多层不同尺度的融合特 征进行融合。 4.根据权利要求3所述的基于特征融合的图像分割方法， 其特征在于， 所述分层融合具 体包括： 将深度图像特 征作为三个通道的输入， 得到三 通道深度图像特 征； 将RGB图像特征和三通道深度图像特征分别经过一个3*3卷积运算后， 在通道方向进行 叠加； 进行逐通道加权， 各通道的权 重由激活函数SoftMax获得。 5.根据权利要求3所述的基于特征融合的图像分割方法， 其特征在于， 所述多层融合具 体包括： 通过上采样将多层不同尺度的融合特 征归一化为相同同尺度的融合特 征； 对多层相同 同尺度的融合特 征进行叠加； 进行逐通道加权， 各通道的权 重由激活函数SoftMax获得。 6.根据权利要求3所述的基于特征融合的图像分割方法， 其特征在于， 所述多层融合还 包括对深层的语义信息与浅层的细节信息进行融合。 7.根据权利要求1所述的基于特征融合的图像分割方法， 其特征在于， 所述方法还包括 后处理步骤： 利用形态学算法对分割图像的边 缘进行修复； 利用图像深度信息， 基于修复后的图像进行实际参数计算。 8.一种基于特 征融合的图像分割装置， 其特 征在于， 所述装置包括： 图像获取模块， 用于实时获取由深度相机 输入的RGB图像和深度图像； 特征提取模块， 用于分别对RGB图像和深度图像进行 特征提取； 特征融合模块， 用于对提取的RGB图像特征和 深度图像特征进行融合， 并基于融合特征 进行图像分割。 9.根据权利要求8所述的基于特征融合的图像分割 装置， 其特征在于， 所述特征提取为 多尺度特 征提取。 10.根据权利要求9所述的基于特征融合的图像分割装置， 其特征在于， 所述对提取的 RGB图像特 征和深度图像特 征进行融合的方法包括： 分层融合： 对每层相同尺度的RGB图像特征和 深度图像特征进行融合， 得到多个不同尺 度的融合特 征；权　利　要　求　书 1/2 页 2 CN 114529569 A 2多层融合： 对所述多层不同尺度的融合特 征进行融合。权　利　要　求　书 2/2 页 3 CN 114529569 A 3