(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111625029.5 (22)申请日 2021.12.28 (71)申请人 天翼电子商务有限公司 地址 102200 北京市昌平区未来科技城南 区中国电信集团公司院内 (72)发明人 章建森　傅剑文　陈心童　韩弘炀　 周文彬　 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06K 9/62(2022.01) (54)发明名称 一种基于局部目标信息传递的交通标志检 测和识别装置 (57)摘要 本发明公开了一种基于局部目标信息传递 的交通标志 检测和识别装置， 使得局部范围内的 目标信息能够互相传递。 本发明创新的提出了一 种局部目标信息共享的方法， 将无序的图像识别 问题转变为具有序列信息和位置信息的图像识 别问题， 该方法能够有效的学习特定场景下目标 物的排列规则， 提升识别的准确率； 特征矩阵不 再是仅包含目标物的图像特征， 通过特征扩增的 方式使得特征矩 阵中包含了目标物的位置信息 和大小信息， 使用自注意力机制的方式使得模型 在识别图像特征的同时兼顾目标间的位置方向、 远近和大小的信息， 赋予不同的检测目标不同的 权重； 该装置能够有效学习交通标志的排列规 则、 具有一定的推理能力， 提升整体目标识别的 准确率。 权利要求书1页 说明书4页 附图1页 CN 114529881 A 2022.05.24 CN 114529881 A 1.一种基于局部目标信息传递的交通标志检测和识别装置， 其特征在于， 包括以下步 骤： 一、 对于每一张训练图片I， 存在交通标志Ti， 位置信息为Li， 将每个交通标志的位置信 息输入到一个局部位置聚类器， 将交通标志分为不同的集合{TLi}， 每个TLi中至少包含1个 交通标志T； 局部位置聚类 器的计算 步骤如下： (1)对于位置信息L， 其表示形式为(xmin， ymin， xmax， ymax)， 将其转换为(Xc， Yc， W， H) 的形式， 其中(Xc， Y c)为目标的中心点 坐标， W为目标的宽， H为目标的高； (2)设定偏离阈值threshold， 单位pixel， 遍历所有位置信息， 如果存在ΔXc＜ threshold  or ΔYc＜threshold， 且满足条件max(ΔXc， ΔYc)＜α max(W1， W2)， α 为常数， 这里 取1.5， 则该两个目标被聚类为同一局部目标； (3)对于所有集合{Tx， Ty}， 如果存在相同元素则合并集合， 例如对于集合{T1， T2}， {T2， T3}， 则合并为{T1， T2， T3}； 二、 设置默认最大序列长度， Lengthmax＝10(经验值， 一般同一块交通警示牌上的交通 标志数量 不超过10)， 选取 所有1步骤中集 合元素大于1的集 合； 三、 对于每个交通标志图像， 根据其位置信息， 使用预训练的resnet ‑50的backbone得 到初始化的特征矩阵x， 并将其resize到固定的大小， 并将该特征矩阵与位置信息L进行合 并得到新的特 征矩阵X； 四、 使用自注意力机制， 通过线性变换 得到Q， K， V， 其公式如下： Q＝WQX， K＝WKX， V＝WVX， 注意力公式如下： 五、 训练模型， 得到基于局部目标信息传递的交通标志检测 和识别装置 。权　利　要　求　书 1/1 页 2 CN 114529881 A 2一种基于局部目标信息传递的交通标志检测和识别装 置 技术领域 [0001]本发明涉及计算机技术的目标检测领域， 特别涉及一种基于局部目标信息传 递的 交通标志检测 和识别装置 。 背景技术 [0002]自动驾驶技术随着大数据、 人工智能技术的快速发展而蓬勃发展。 道路交通标志 的检测和识别作为自动 驾驶领域的一个重要分支， 提升交通标志检测和识别的准确率对保 证自动驾驶的安全性有着十分重要的意 义。 [0003]常用的目标检测和识别方法分为One ‑stage和two ‑stage， YOLO、 SSD等算法属于 One‑stage的目标检测算法， 该算法最大的优势在于它同时完成了检测和识别， 处理速度 快， 可以满足实时的场景需求， 但是缺点也很明显， 小目标的检测效果较差， 整体的识别准 确率不高。 Faster ‑rcnn、 mask ‑rcnn等算法属于Two ‑stage的目标检测算法， 这类算法识别 的准确率高， 但是模型的推断速度较低， 无法满足 实时检测的要求。 [0004]然而这两类算法在检测和识别的过程中， 都忽略了检测到的目标互相之间的信息 联系。 交通标志在 城市、 街道、 高速公路等往往不是单独出现的， 当需要多个交通标志时， 会 按照一定的顺序从左向右或者从上到下排列， 顺序依次为 警示标志、 禁止标志和指示标志。 在实际的道路行驶过程中， 通过摄像头获取 的图像会产生一定的畸变， 越是图像边缘的交 通标志它的目标会 越小特征越不明显， 因此越容 易导致目标无法检测 和识别准确率 不高。 [0005]因此， 本专利提出一种基于局部目标信息传递的交通标志检测和识别装置， 使得 局部范围内的目标信息能够互相传递， 学习交通标志间在不同场景下排列的规则， 将单一 的目标检测和识别问题转化为包含序列和语义关系的问题， 提升交通标志检测和识别的准 确率。 发明内容 [0006]本发明要解决的技术问题是克服现有技术的缺陷， 提供一种基于局部目标信息传 递的交通标志检测和识别装置， 可以充分学习局部目标之间的关联特征和排列规则， 使得 模型具有良好的推理能力， 解决小目标检测和识别准确 率不高的问题， 校正预测结果排列 顺序与规定不 一致的情况， 提升整体交通标志检测 和识别的准确率。 [0007]本发明提供了如下的技 术方案： [0008]本发明提供一种基于局部目标信息传递的交通标志检测和识别装置， 包括以下步 骤： [0009]一、 对于每一张训练图片 I， 存在交通标志Ti， 位置信息为Li， 将每个交通标志的位 置信息输入到一个局 部位置聚类器， 将交通标志分为不同的集合{TLi}， 每个TLi中至少 包 含1个交通标志T； [0010]局部位置聚类 器的计算 步骤如下： [0011](1)对于位置信息L， 其表示形式为(xmin， ymin， xmax， ymax)， 将其转换为(Xc， Yc，说　明　书 1/4 页 3 CN 114529881 A 3