(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111627538.1 (22)申请日 2021.12.28 (71)申请人 中电海康集团有限公司 地址 311100 浙江省杭州市余杭区五常街 道爱橙街198号 (72)发明人 程坤　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 代理人 杨天娇 (51)Int.Cl. H04J 3/06(2006.01) G06K 9/62(2022.01) (54)发明名称 一种光视一体 机时间同步控制系统 (57)摘要 本发明公开了一种光视一体机时间同步控 制系统， 光视一体机包括激光雷达和摄像头模 组， 光视一体机时间同步控制系统包括主控制 器、 激光雷达、 摄像头模组和传感器数据融合装 置。 本发明基于主控制器维护的时间信息产生秒 脉冲信号及时间计数器的多传感融合中的高精 度时间同步方法， 实现了可靠的帧同步方法。 权利要求书2页 说明书6页 附图2页 CN 114157382 A 2022.03.08 CN 114157382 A 1.一种光视一体机时间同步控制系统， 所述光视一体机包括激光雷达和摄像头模组， 其特征在于， 所述光视一体机时间同步控制系统包括主控制器、 所述激光雷达、 所述摄像头 模组和传感器数据融合装置， 其中： 所述主控制器， 用于维护自身的时间信息， 根据自身的时间信息同步产生秒脉冲信号 以及时间计数器， 并向所述激光雷达输出时间信息和时间计数器， 向所述摄像头模组输出 秒脉冲信号； 所述激光雷达， 用于接收主控制器输出的时间信息和时间计数器， 基于时间信息和时 间计数器维护的时间为采集的每帧点云数据加上时间戳， 并将加上时间戳后的点云数据发 送至所述传感器数据融合装置； 所述摄像头模组， 用于根据主控制器发送的秒脉冲信号进行图像采集， 并将采集的每 帧图像数据反馈 至所述主控制器； 所述主控制器， 还用于基于自身维护的时间信 息为所述摄像头模组反馈的每帧图像数 据加上时间戳， 并将加上时间戳后的图像数据发送至所述传感器数据融合装置； 所述传感器数据融合装置， 用于接收激光雷达发送的点云数据和摄像头模组发送的图 像数据， 并对具有相同时间戳的点云数据和图像数据进行 数据融合。 2.如权利要求1所述的光视一体机时间 同步控制系统， 其特征在于， 所述传感器数据融 合装置， 对具有相同时间戳的点云数据和图像数据进行 数据融合， 包括： 基于曝光时区跨度， 判断具有相同时间戳的点云数据和图像数据是否时间同步， 若时 间不同步则结束本次数据融合； 否则进一步基于激光雷达的体素点和摄像头模组 的像素点， 判断具有相同时间戳的点 云数据和图像数据是否时间同步， 若时间不同步则结束本次数据融合； 否则进行 数据融合。 3.如权利要求2所述的光视一体机时间 同步控制系统， 其特征在于， 所述光视一体机为 全局曝光型光视一体机， 则所述摄像头模组为全局摄像头模组， 所述激光雷达为扫描型激 光雷达； 所述基于曝光时区跨度， 判断具有相同时间戳的点云数据和图像数据是否时间同步， 包括： 令一帧图像数据的 曝光时间跨度为 令一帧点云数据的 曝光时间跨度为 若 在 范围之内， 则当前具有相同时间戳的点云数据和图像数据时间同步； 反之当 前具有相同时间戳的点云数据和图像数据时间不同步。 4.如权利要求3所述的光视一体机时间 同步控制系统， 其特征在于， 所述基于激光雷达 的体素点和摄像头模组的像素点， 判断具有相同时间戳的点云数据和图像数据是否时间同 步， 包括： 对一帧点云数据中的每一个体素点进行标号， 并根据点云数据的时间戳为每一个体素 点标定出相对的 曝光时刻； 对一帧图像数据中的每一个像素点进行标号， 并根据图像数据的时间戳为每一个像素 点标定出相对的 曝光时刻；权　利　要　求　书 1/2 页 2 CN 114157382 A 2取当前帧图像数据的帧起始时刻为 曝光延迟时刻为 则查询曝光时刻位于 至 时间范围内的体素点； 根据查询到的体素点的标号找出标号相对应的像素点， 若所查询到的体素点和所找到 的像素点的曝光时刻相同， 则表示具有相同时间戳的点云数据和图像数据是否时间同步； 否则时间不同步。 5.如权利要求2所述的光视一体机时间 同步控制系统， 其特征在于， 所述光视一体机为 卷帘曝光型光视一体机， 则所述摄像头模组为卷帘摄像头模组， 所述激光雷达为扫描型激 光雷达； 所述基于曝光时区跨度， 判断具有相同时间戳的点云数据和图像数据是否时间同步， 包括： 令一帧图像数据的 曝光时间跨度为 令一帧点云数据的 曝光时间跨度为 若 和 的范围存在交叉， 且 和 的相对起始位置小于一列点云数据的曝光时间跨 度， 则当前具有相同时间戳的点云数据和图像数据时间同步； 反之当前具有相同时间戳的 点云数据和图像数据时间不同步。 6.如权利要求5所述的光视一体机时间 同步控制系统， 其特征在于， 所述基于激光雷达 的体素点和摄像头模组的像素点， 判断具有相同时间戳的点云数据和图像数据是否时间同 步， 包括： 对一帧点云数据中的每一个体素点进行标号， 并根据点云数据的时间戳为每一个体素 点标定出相对的 曝光时刻； 对一帧图像数据中的每一个像素点进行标号， 并根据图像数据的时间戳为每一个像素 点标定出相对的 曝光时刻； 取当前帧图像数据的帧起始时刻为 曝光延迟时刻为 第n列像素点的曝光时刻 为 则查询曝光时刻位于 至 时间范围内的体素点； 根据查询到的体素点的标号找出标号相对应的像素点， 若所找出的像素点正好位于第 n列， 则此列像素点与体素点匹配成功； 否则此列像素点与体素点匹配不成功； 遍历图像数据中的每一列像素点， 若匹配成功 的比例大于阈值， 则表示具有相同时间 戳的点云数据和图像数据是否时间同步； 否则时间不同步。权　利　要　求　书 2/2 页 3 CN 114157382 A 3