(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111634484.1 (22)申请日 2021.12.2 9 (71)申请人 广州瑞松视 觉技术有限公司 地址 510760 广东省广州市黄埔区瑞祥路 188号 申请人 广州瑞松北斗汽车装备有限公司 (72)发明人 林炯南　张驰　焦安强　刘益　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 颜希文　郝传鑫 (51)Int.Cl. G06V 30/14(2022.01) G06V 30/148(2022.01) G06V 30/162(2022.01) G06V 30/19(2022.01)G06K 9/62(2022.01) G06T 3/40(2006.01) G06T 7/00(2017.01) G06T 7/62(2017.01) (54)发明名称 一种基于双激光相机的3D字符视觉检测缺 陷装置及方法 (57)摘要 本发明公开了一种基于双激光相机的3D字 符视觉检测缺陷装置及方法， 所述方法包括： 步 骤S1， 利用第一激光相机与第二激光相机分别采 集激光照射到的待检测工件的激光轮廓图片， 获 得第一点云图与第二点云图， 所述第一激光相机 与第二激光相机采用正反对装方式； 步骤S2， 将 第一点云图与第二点云图进行拼接， 合成一张精 度更高、 信息更完整的点 云图； 步骤S3， 对拼接后 的点云图利用OCR技术识别出字符内容， 并使用 形状匹配对字符内容进一步确认及得出字符的 位置， 检验字符位置是否在允许的公差范围内， 并在得到字符的内容和位置后， 对实际字符与标 准字符进行差分比对， 从而检测实际字符是否存 在残缺。 权利要求书2页 说明书7页 附图2页 CN 114445820 A 2022.05.06 CN 114445820 A 1.一种基于双激光相机的3D字符视 觉检测缺陷装置， 包括： 第一激光相机与第二激光相机， 其与激光均成θ角， 第 一激光相机与第 二激光相机正反 对装， 分别采集激光照射到的待检测工件表面的激光轮廓图片， 获得第一点云图与第二点 云图； 图片拼接单元， 用于将所述第 一点云图与第二点云图进行拼接， 合成一张精度更高、 信 息更完整的点云图； 字符缺陷检测单元， 用于对拼接后的点云图利用OCR技术识别出字符内容， 并使用形状 匹配对字符内容进一步确认及得出字符的位置， 检验字符位置是否在允许的公差范围内， 并在得到字符的内容和位置后， 对实际字符与标准字符进行差分比对， 从而检测实际字符 是否存在残缺。 2.如权利要求1所述的一种基于双激光相机的3D字符视觉检测缺陷装置， 其特征在于： 将第一点云图与第二点云图中的一张作为主图像， 另一张作为副图像， 图像拼接前事先标 定两个激光相 机的相对位置关系， 计算出转换矩阵， 使用所述转换矩阵将副图像的数据转 换成可以和主图像对应的数据， 再将转换后副图像的数据插补进主图像中， 合成一张精度 更高、 信息更完整的点云图。 3.如权利要求2所述的一种基于双激光相机的3D字符视觉检测缺陷装置， 其特征在于， 字符缺陷检测单 元进一步包括： 3D字符截取模块， 用于将3D字符从拼接后的点云图中截取 出来， 并进行矫 正； 字符区域提取模块， 用于对矫正后的3D字符通过阈值分割提取出字符区域， 并得到字 符区域中的灰度值； 字符识别模块， 用于利用OCR技 术对字符区域进行识别， 识别出字符内容； 模板匹配模块， 用于将字符识别模块识别出的字符内容与字符模板进行模板匹配， 输 出匹配结果； 字符位置检测模块， 用于将模板匹配模块的匹配结果中的字符位置和角度进行坐标变 换， 以检验字符位置是否在允许的公差范围之内； 缺陷检测模块， 用于在模板匹配模块进行匹配后， 将字符区域转换为标准位置， 与 标准 字符区域进行相减得到 差异区域， 根据差异区域 来判断字符是否存在残缺。 4.如权利要求3所述的一种基于双激光相机的3D字符视觉检测缺陷装置， 其特征在于， 所述字符缺陷检测单 元还包括： 深厚度检测模块， 用于根据字符识别模块获得的字符区域中的灰度值， 计算字符的深 度或厚度是否 达标。 5.如权利要求4所述的一种基于双激光相机的3D字符视觉检测缺陷装置， 其特征在于： 于所述模板匹配模块中， 调用对应字 符模板进行模板匹配， 匹配结果输出分数， 从而利用分 数高低对字符内容进一步确认， 同时， 所述匹配结果还输出当前字符在图像中的位置和角 度。 6.如权利要求4所述的一种基于双激光相机的3D字符视觉检测缺陷装置， 其特征在于： 所述字符位置检测模块将匹配结果中的字符位置和角度进 行坐标变换得到世界坐标， 将得 到的世界坐标与标准位置坐标值进行比对计算， 判断X方向、 Y方向以及旋转角度的偏差是 否在设定公差值内， 若在公差之内则判定为位置偏差正常， 若在公差之外为异常， 进 行报警权　利　要　求　书 1/2 页 2 CN 114445820 A 2提示。 7.如权利要求4所述的一种基于双激光相机的3D字符视觉检测缺陷装置， 其特征在于： 所述缺陷检测模块 通过检测所述差异区域的面积， 长度， 宽度等 来判断字符是否存在残缺。 8.如权利要求4所述的一种基于双激光相机的3D字符视觉检测缺陷装置， 其特征在于： 所述缺陷检测模块在通过所述模板匹配模块确认了字符内容与字符位置后， 计算从原点 (0,0,0)到现在字符位置(x,y,r)的变换矩阵， 并使用该矩阵将处于原点的模板字符区域 (Px,Py)变换为比对字符区域(Qx,Qy)， 将比对字符区域与现在字 符区域进 行相减得到差异 区域， 检测差异区域的面积， 长度， 宽度等 来判断字符是否存在残缺。 9.如权利要求8所述的一种基于双激光相机的3D字符视觉检测缺陷装置， 其特征在于： 所述深厚度检测模块根据所述字符识别模块 获得的字符区域中的灰度值， 乘以比例系数得 到字符的实际深度或厚度， 并判断是否 达标。 10.一种基于双激光相机的3D字符视 觉检测缺陷方法， 包括如下步骤： 步骤S1， 利用第一激光相机与第 二激光相机分别采集激光照射到的待检测工件表面的 激光轮廓图片， 获得第一点云图与第二点云图， 所述第一激光相 机与第二激光相 机采用正 反对装方式； 步骤S2， 将第 一点云图与第二点云图进行拼接， 合成一张精度更高、 信息更完整的点云 图； 步骤S3， 对拼接后的点云图利用OCR技术识别出字符内容， 并使用形状匹配对字符内容 进一步确认及得出字符的位置， 检验字符位置是否在允许 的公差范围内， 并在得到字符的 内容和位置后， 对实际字符与标准字符进行差分比对， 从而检测实际字符是否存在残缺。权　利　要　求　书 2/2 页 3 CN 114445820 A 3