(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111633178.6 (22)申请日 2021.12.2 9 (71)申请人 北京淳中科技股份有限公司 地址 100082 北京市海淀区林风 二路39号 院1号楼5层 (72)发明人 程星凯　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 代理人 彭星 (51)Int.Cl. G06V 40/20(2022.01) G06K 9/62(2022.01) G06F 3/01(2006.01) G06V 10/764(2022.01) (54)发明名称 一种手势控制的方法、 系统、 设备及存储介 质 (57)摘要 本申请提供了一种手势控制的方法、 系统、 设备及存储介质， 该方法包括： 接收图像采集装 置发送的图像数据， 将图像数据中的待识别图像 逐帧输入至训练好的手势检测模 型中， 得到每帧 待识别图像的手势检测结果； 当检测到手势检测 结果中出现目标人体对象时， 根据目标人体对象 的人体特征数据， 从目标手势检测结果中， 确定 目标手势对象所在的目标手势区域边界框； 根据 目标手势对象在目标手势区域边界框中显示的 目标手势动作， 从手势动作与控制指令的映射关 系库中， 确定与目标手势动作具备映射关系的目 标控制指令； 将目标控制指令发送给屏幕显示设 备， 以控制屏幕显示设备显示目标控制指令的执 行过程与执行结果。 这样， 可以提高对屏幕显示 设备的控制效率。 权利要求书4页 说明书27页 附图13页 CN 114333056 A 2022.04.12 CN 114333056 A 1.一种手势控制的方法， 其特征在于， 所述方法应用于图像处理器中， 所述图像处理器 位于手势控制系统中， 其中， 所述手势控制系统至少包括： 图像采集装置、 所述图像处理器 以及屏幕显示设备； 所述方法， 包括： 响应于接收到所述图像采集装置发送的图像数据， 将所述图像数据中的待识别图像逐 帧输入至预先训练好的手势检测模型中， 得到每帧待识别图像的手势检测结果； 其中， 所述 手势检测模型用于预测每帧待识别图像中目标对 象所在的图像区域边界框以及每一所述 图像区域边界框中目标对 象的所属类别； 所述目标对 象包括： 人体对象和/或手势对 象； 所 述手势检测结果用于表征 所述手势检测模型对于每帧待识别图像的预测结果； 当检测到所述手势检测结果中出现目标人体对象时， 根据 所述目标人体对象的人体特 征数据， 从目标手势检测结果中， 确定目标手势对象所在的目标手势区域边界框； 其中， 所 述目标人体对象用于表征具备所述屏幕显示设备的控制权限的人体对象； 所述人体特征数 据至少包括所述目标人体对象的手部中心点与身体中心 点之间的标准臂长距离； 所述目标 手势检测结果用于表征检测到所述目标人体对象出现的手势检测结果； 所述目标手势对象 用于表征 所述目标 人体对象中用于控制所述屏幕显示设备的手势对象； 根据所述目标手势对象在所述目标手势区域边界框 中显示的目标手势动作， 从手势动 作与控制指令的映射关系库中， 确定与所述 目标手势动作具备映射关系的目标控制指令； 其中， 所述目标手势动作是根据所述目标手势对象在所述目标手势检测结果中检测出的所 属类别确定的； 将所述目标控制 指令发送给所述屏幕显示设备， 以控制所述屏幕显示设备显示所述目 标控制指令的执 行过程与执 行结果。 2.根据权利要求1所述的方法， 其特征在于， 在所述手势检测模型的工作状态属于在线 工作状态的情况下， 所述将所述图像数据中的待识别图像逐帧输入至预先训练好的手势检 测模型中， 得到每帧待识别图像的手势检测结果， 包括： 针对每帧待识别图像， 将该帧待识别图像输入至所述手势检测模型中， 通过所述手势 检测模型， 对该帧待识别图像中所述 目标对象所在的图像区域进行分类预测， 得到第一分 类预测结果； 其中， 所述第一分类预测结果至少包括： 该帧待识别图像中所述人体对 象和/ 或所述手势对象所在的图像区域 边界框； 在检测到所述第一分类预测结果中包括第 一图像区域边界框时， 通过所述手势检测模 型， 对所述手势对 象在该第一图像区域边界框中显示的第一手势动作进行分类预测， 得到 第二分类预测结果； 其中， 所述第一图像区域边界框用于表征所述手势对 象所在的图像区 域边界框； 所述第二分类预测结果至少包括： 所述第一手势动作在手势类别列表中所属的 手势类别； 所述手势类别列 表中的手势类别数量是根据所述手势检测模型在训练过程中使 用的样本图像中包括的手势动作种类确定的； 将所述第一分类预测结果和所述第二分类预测结果作为该帧待识别图像的手势检测 结果。 3.根据权利要求1所述的方法， 其特征在于， 在所述手势检测模型的工作状态属于离线 工作状态时， 所述将所述图像数据中的待识别图像逐帧输入至预先训练好的手势检测模型 中， 得到每帧待识别图像的手势检测结果， 包括： 针对每帧待识别图像， 将该帧待识别图像输入至所述手势检测模型中， 根据所述手势权　利　要　求　书 1/4 页 2 CN 114333056 A 2检测模型中预先存储的多个离线模板图像， 确定该帧待识别图像与每一所述离线模板图像 之间的图像相似度； 其中， 所述离线模板图像用于表征所述手势检测模型在训练过程中使 用的样本图像； 针对每一所述离线模板 图像， 以所述图像相似度作为权重参数， 对该离线模板 图像的 标准检测结果进 行加权求和处理， 得到用于表征该帧待识别图像的手势检测结果与该标准 检测结果之间匹配程度的置信度结果； 其中， 所述标准检测结果用于表征训练好的手势检 测模型针对该离线模板图像的模型输出 结果； 从多个所述离线模板图像的标准检测结果中， 提取目标置信度 结果对应的标准检测结 果作为该帧待识别图像的手势检测结果； 其中， 所述 目标置信度结果是多个所述置信度结 果中的最大值。 4.根据权利要求1所述的方法， 其特征在于， 在所述得到每帧待识别图像的手势检测结 果之后， 通过以下 方法， 对所述手势检测结果中是否出现所述目标 人体对象进行检测： 针对每一所述手势检测结果， 对该手势检测结果中是否出现第 二图像区域边界框进行 检测， 得到第一区域检测结果； 其中， 所述第二图像区域边界框用于表征所述人体对象所在 的图像区域 边界框； 当检测到所述第一区域检测结果中包括所述第 二图像区域边界框时， 获取该第 二图像 区域边界框中的图像区域特 征； 当检测到所述图像区域特征与所述目标人体对象的图像特征数据之间的相似程度大 于或者等于第一相似度阈值时， 确定该手势检测结果中出现所述目标 人体对象。 5.根据权利要求1所述的方法， 其特征在于， 所述根据所述目标人体对象的人体特征数 据， 从目标手势检测结果中， 确定目标手势对象所在的目标手势区域 边界框， 包括： 从所述目标手势检测结果中， 确定每一像素点与第 三图像区域边界框的中心点之间的 像素距离； 其中， 所述第三图像区域边界框用于表征所述 目标人体对 象所在的图像区域边 界框； 根据每一所述像素距离与 所述标准臂长距离之间的距离差值， 从所述目标手势检测结 果中， 确定目标像素点所在的目标图像区域； 其中， 所述目标像素点用于表征所述距离差值 小于或者 等于距离偏差阈值的像素点； 在所述目标图像区域内， 对所述手势对象所在的图像区域边界框进行二次预测， 确定 位于所述目标图像区域内的多个 手势区域 边界框； 在所述第三图像区域边界框 内， 对所述目标人体对象的手部区域位置进行多次追踪预 测， 得到所述手部区域 位置的多次追踪预测结果； 计算每一所述手势区域边界框与 所述多次追踪预测结果之间的平均相似程度， 以将所 述平均相似程度最高的手势区域 边界框确定为所述目标手势区域 边界框。 6.根据权利要求1所述的方法， 其特征在于， 所述从手势动作与控制指令的映射关系库 中， 确定与所述目标手势动作具 备映射关系的目标控制指令， 包括： 当检测到所述目标手势动作属于接管手势动作时， 从所述映射关系库中， 获取与所述 接管手势动作具 备映射关系的手势控制开启指令和手势控制关闭指令； 响应获取到所述手势控制开启指令和所述手势控制关闭指令， 向所述屏幕显示设备发 送工作状态获取指令；权　利　要　求　书 2/4 页 3 CN 114333056 A 3