(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111635130.9 (22)申请日 2021.12.2 9 (71)申请人 苏州金瑞阳信息科技有限责任公司 地址 215000 江苏省苏州市工业园区新平 街388号腾飞科技园21幢12层09室 (72)发明人 王晨阳　周关龙　张苏杭　丁辉　 齐晓强　方良民　张锐　赵志伟　 刘舜　郭延文　 (74)专利代理 机构 苏州创元专利商标事务所有 限公司 3210 3 代理人 范晴 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01)G06V 40/16(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的自动化 考试监考方法 (57)摘要 本发明公开了一种基于深度学习的自动化 考试监考方法， 包括： 步骤1： 训练出检测考生的 深度学习目标检测模型； 步骤2～4： 分别训练出 深度学习图像抬脸分类模型、 侧脸分类模型、 回 头分类模型； 步骤5： 利用目标检测模型， 检测图 像中的考生， 并将考生对应的包围盒图像切下 来； 步骤6： 对考生包围盒图像， 利用抬脸分类模 型进行分类， 过滤掉低头答卷的考生； 步骤7～8： 对于剩下的抬脸考生， 分别利用侧脸分类模型、 回头分类模型进行分类， 得到侧脸、 回头行为的 考生； 步骤9： 对侧脸、 回头考生， 记录其时间， 教 室号， 可疑图像， 工作人员做最后审核， 做相应处 理。 本发明实现一定程度自动化、 智能化地监考， 并且算法速度很快。 权利要求书2页 说明书5页 附图3页 CN 114429572 A 2022.05.03 CN 114429572 A 1.一种基于深度学习的自动化 考试监考方法， 其特 征在于， 包括以下步骤： 步骤1： 训练出检测考 生的深度学习目标检测模型； 步骤2： 训练出抬脸， 低头二分类的深度学习图像抬脸分类模型； 步骤3： 训练出侧脸， 非侧脸 二分类的深度学习图像侧脸分类模型； 步骤4： 训练出回头， 非回头二分类的深度学习图像回头分类模型； 步骤5： 利用步骤1得到的目标检测模型， 检测图像中的考生， 并将考生对应的包围盒图 像切下来； 步骤6： 对步骤5得到的考生包围盒图像， 利用步骤2得到的抬脸模型进行分类， 过滤掉 低头答卷的考 生； 步骤7： 对于步骤6剩下的抬脸考生， 利用步骤3得到的侧脸分类模型进行分类， 得到侧 脸行为的考 生； 步骤8： 对于步骤6剩下的抬脸考生， 利用步骤4得到的回头分类模型进行分类， 得到回 头行为的考 生； 步骤9： 对步骤7， 步骤8中得到的侧脸、 回头考 生， 记录其时间， 教室号， 可疑图像； 步骤10： 对步骤9 记录的可疑考 生， 工作人员做最后审核， 做相应处 理。 2.根据权利要求1所述的基于深度学习的自动化考试监考方法， 其特征在于： 步骤1包 括如下步骤： 步骤1‑1： 从考试录制的视频中截取考 生考试的图像； 步骤1‑2： 利用步骤1 ‑1的图像标注考生的目标模型学习训练集， 这里利用labelImg工 具进行标注； 步骤1‑3： 构造yolov4目标检测网络， yolov4的主干网络采用CSPD arknet53， 脖颈网络 采用PAN， 检测头部 分采用yolo的方法， 主干用于通过连续地卷积和下采样提取图像的基本 特征， 脖颈部 分针对图像中目标大小不一的问题， 构造出多个尺度特征映射用于检测， 同时 融合了低层的较强细节， 定位信息和高层的强语义信息， 更有利于多种尺寸目标的检测， 检 测头是网络生成所有包围盒部 分， 并执行非极大值抑制算法， 去除单个目标的冗余包围盒， 得到最终的检测结果； 步骤1‑4： 利用预训练权 重初始化yo lov4的主干网络， 其 他部分按需初始化； 步骤1‑5： 利用步骤1 ‑2的数据集， 对步骤1 ‑4的目标检测模型进行微调， 得到可以检测 考生目标的泛化模型。 3.根据权利要求2所述的基于深度学习的自动化考试监考方法， 其特征在于： 步骤2包 括以下步骤： 步骤2‑1： 对于步骤1 ‑1中截取的考试图像， 框出足量考生抬脸和低头的图像， 并切下考 生图像； 步骤2‑2： 构建Mobi lenetv3图像分类网络； 步骤2‑3： 利用预训练权 重初始化Mobi lenetv3网络； 步骤2‑4： 利用步骤2 ‑1的数据集， 微调步骤2 ‑3的Mobilenetv3网络， 得到可以分类抬脸 低头的图像分类模型。 4.根据权利要求3所述的基于深度学习的自动化考试监考方法， 其特征在于： 步骤3包 括以下步骤：权　利　要　求　书 1/2 页 2 CN 114429572 A 2步骤3‑1： 对于步骤1 ‑1中截取的考试图像， 框出足量考生侧脸和非侧脸的图像， 并切下 考生图像； 步骤3‑2： 利用步骤3 ‑1的数据集， 微调步骤2 ‑3的Mobilenetv3网络， 得到可以分类侧脸 非侧脸的图像分类模型。 5.根据权利要求4所述的基于深度学习的自动化考试监考方法， 其特征在于： 步骤4方 法如下： 步骤4‑1： 对于步骤1 ‑1中截取的考试图像， 框出足量考生回头和非回头的图像， 并切下 考生图像； 步骤4‑2： 利用步骤4 ‑1的数据集， 微调步骤2 ‑3的Mobilenetv3网络， 得到可以分类回头 非回头的图像分类模型。 6.根据权利要求5所述的基于深度学习的自动化考试监考方法， 其特征在于： 步骤5方 法如下： 步骤5‑1： 利用步骤1 ‑5得到考生目标检测模型， 对原图像 检测， 得到考 生的包围框； 步骤5‑2： 利用步骤5 ‑1得到考生包围框， 切下原图像中考 生的图像区域。 7.根据权利要求6所述的基于深度学习的自动化考试监考方法， 其特征在于： 步骤6方 法包括： 步骤6‑1： 利用步骤5 ‑2得到考生区域图像， 利用步骤2 ‑4得到的模型进行抬脸或者低头 图像分类； 步骤6‑2： 利用步骤6 ‑1的分类结果， 将低头答卷的考 生过滤掉， 留下抬脸的考 生。 8.根据权利要求7所述的基于深度学习的自动化考试监考方法， 其特征在于： 步骤7方 法包括： 步骤7‑1： 将步骤6 ‑2留下的抬脸考生的区域图像输入到步骤3 ‑2得到的模型， 进行侧脸 非侧脸的分类； 步骤7‑2： 利用步骤7 ‑1的分类结果， 将非侧脸的考 生过滤掉， 只留下侧脸的考 生。 9.根据权利要求8所述的基于深度学习的自动化考试监考方法， 其特征在于： 步骤8方 法包括： 步骤8‑1： 将步骤6 ‑2留下的抬脸考生的区域图像输入到步骤4 ‑2得到的模型， 进行回头 非回头的分类； 步骤8‑2： 利用步骤8 ‑1的分类结果， 将非回头的考 生过滤掉， 只留下回头的考 生。 10.根据权利要求9所述的基于深度学习的自动 化考试监考方法， 其特征在于： 步骤9方 法如下： 对于步骤7 ‑2中得到的侧脸考生， 和步骤8 ‑2得到的回头考生， 分别记录他们的行为时 间， 教室号， 行为图像。权　利　要　求　书 2/2 页 3 CN 114429572 A 3