(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111643931.X (22)申请日 2021.12.2 9 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 凌强　 (74)专利代理 机构 北京科迪生专利代理有限责 任公司 1 1251 代理人 金怡 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/10(2017.01) G06T 7/73(2017.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于可见光图像的光伏板定位与缺陷 检测方法及系统 (57)摘要 本发明涉及一种基于可见光图像的光伏板 定位与缺陷检测方法及系统， 其方法包括： S1： 构 建光伏板 可见光图像数据集， 按预设比例将其划 分训练集和测试集； S2： 利用训练集训练SE FPN语 义分割网络， 得到光伏板边缘掩膜图； S3： 将光伏 板边缘掩膜图输入轮廓筛选模块， 获取光伏板的 候选位置框； S4： 将光伏板的候选位置框输入 YOLOv5检测网络， 获取光伏板缺陷类别； S5： 测试 集依次经过SEFPN语义分割 网络、 轮廓筛选模块 和YOLOv5检测网络， 获取光伏 板的位置与缺陷类 别。 本发明提供的方法， 可 以适用于无人机航拍 所得的可光伏板见光图像的批量检测， 避免人为 识别过程中的误检， 提高光伏产业的整体效率， 对于光伏产业智能化和降低光伏电站的用人成 本有着较大帮助。 权利要求书3页 说明书6页 附图4页 CN 114332020 A 2022.04.12 CN 114332020 A 1.一种基于可 见光图像的光伏板 定位与缺陷检测方法， 其特 征在于， 包括： 步骤S1： 采集光伏板图像并对光伏板位置和类别进行标注， 构建光伏板可见光图像数 据集， 按预设比例将其划分训练集和 测试集； 步骤S2： 利用所述训练集训练SEFPN语义分割网络， 得到光伏板边缘掩膜图， 其中所述 SEFPN语义分割网络由VGG16基础网络、 具有通道注 意力机制的特征金字塔网络和特征融合 层组合而成； 步骤S3： 将所述 光伏板边 缘掩膜图输入轮廓筛 选模块， 获取光伏板的候选位置 框； 步骤S4： 将所述 光伏板的候选位置 框输入YOLOv5检测网络， 获取光伏板缺陷类别； 步骤S5： 将所述测试集依次经过所述SEFPN语义分割网络、 所述轮廓筛选模块和所述 YOLOv5检测网络， 获取光伏板的位置与缺陷类别。 2.根据权利要求1所述的基于可见光图像的光伏板定位与缺陷检测方法， 其特征在于， 所述步骤S1： 采集光伏板图像并对光伏板位置和类别进行标注， 构建光伏板可见光图像数 据集， 按预设比例将其划分训练集和 测试集， 具体包括： 步骤S11： 利用携带 可见光相机的无 人机采集 光伏板图像； 步骤S12： 根据光伏板类别对所述光伏板图像进行标注， 并对光伏板的四个顶点标注光 伏板的位置， 得到光伏板可见光图像数据集， 按预设比例将其划分训练集和测试集； 其中， 所述光伏板类别包括： 有缺陷和无缺陷。 3.根据权利要求1所述的基于可见光图像的光伏板定位与缺陷检测方法， 其特征在于， 所述步骤S2： 利用所述训练集训练SEFPN语义分割网络， 得到光伏板边缘掩膜图， 其中所述 SEFPN语义分割网络由VGG16基础网络、 具有通道注 意力机制的特征金字塔网络和特征融合 层组合而成， 具体包括： 构建SEFPN语义分割网络， 包括： 由13个卷积层构成所述VGG16基础网络， 输出特征图到 所述具有通道注意力机制的特征金字塔网络， 每一层所述特征图经过自注意力模块后经上 采样自顶向下的连接， 得到同时具有不同低层特征高分辨率和高层特征的高语义信息的注 意力特征图； 将所述注意力特 征图输入所述特 征融合层， 输出光伏板边 缘掩膜图。 4.根据权利要求1所述的基于可见光图像的光伏板定位与缺陷检测方法， 其特征在于， 所述步骤S 3： 将所述光伏板边缘掩膜图输入轮廓筛选模块， 获取光伏板的候选位置框， 具体 包括： 步骤S31： 利用寻找轮廓算法获取所述光伏板边缘掩膜图中所有候选轮廓点集， 将每一 个候选轮廓转换成顺时针方向凸多边形， 得到凸多边形集 合C＝{ci， i＝1， 2， 3…N}； 步骤S32： ： 定义ci的一个反点对(e， v)， 其中， 凸多边形的顶点v在所有顶点中与边e的欧 几里得距离最远； 任意选择两对不同的反对点， 计算外接平行四边形面积， 在所有的外接平 行四边形中记录面积最小的平行四边形， 得到所有凸多边形的最小面积外接平行四边形集 P＝{pi， i＝1， 2， 3…N}； 步骤S33： 计算所述平行四边形集中每个平行四边形的面积Ai与长宽比Ri， 过滤不满足 条件 与条件 的平行四边形后， 得到平行四边形子集， 其中 分别为面积和长 宽比的高低阈值； 计算所述平行四边形子集中每个元素距离其他元素的最小距离Di， 去除不满足条件Di<权　利　要　求　书 1/3 页 2 CN 114332020 A 2td的平行四边形， 其中， td为预设的阈值， 得到初滤的平行四边形集； 步骤S34： 统计所述初滤的平行四边形集中的平 行四边形pi的方向角 θi∈[0， 180)， 定义 θi为pi的长边方向与图像x轴夹角； 构建平行四边形的方向直方图， 其中， 所述方向直方图的横轴取值范围为 采取区域投票法对直方图投票， 如公式(1)所示： 其中， tθ和 分别为设定区域阈值与直方图纵轴频 数； 在对所有平行四边形的方向角进行投票后， 令图像的光伏板主方向角为 其 中， 过滤不满足条件θm‑tθ<θi<θm+tθ的平行四边 形， 得到过 滤后的平行四边形集； 步骤S35： 定义二维平面点集T＝{ti， i＝1， 2， 3， …， N}， 其中， ti代表所述过滤后的平行 四边形集中的平行四边形的中心点； 使用RANSAC算法确定一条内点数目最多的直线l0， 并 从T中去除直线l0得到新的平面点集 重复上述 步骤直至平面点集为空， 最后移除中心点位于内点数目小于阈值的直线的平行四边形， 即 nl<tl， 其中， nl、 tl分别代表直线的内点数量和RANSAC过滤算法的内点阈值， 最终得到光伏 板的候选位置 框。 5.根据权利要求1所述的基于可见光图像的光伏板定位与缺陷检测方法， 其特征在于， 所述步骤S4： 将所述光伏板的候选位置框输入Y OLOv5检测网络， 获取光伏板缺陷类别， 具体 包括： 步骤S41： 基于所述 光伏板的候选位置 框进行透 视变换， 得到光伏板矩形框； 步骤S42： 基于步骤S21中标注为缺陷的光伏板， 对所述光伏板矩形框的缺陷类别进行 标注， 所述 缺陷类别包括： 鸟粪、 碎裂、 灰尘与遮挡； 步骤S43： 将标注好缺陷类别的光伏板矩形框输入所述YOLOv5检测网络， 依次经过 Backbone、 Neck和Head层得到特征图， 再通过检测框解码和非极大值抑制后得到预测框， 将 所述预测框与标注的真实框计算分类损失与定位损失， 其损失函数如公式(2)～(3)所示： 其中， Lclass与LGIoU分别为分类损失与定位损失， 分别使用二分类交叉熵损失函数与 GIoU损失函数， yi， y'i分别代表真实标签类别与输出的预测类别概率； A， B， C分别代表所述 真实框、 输出 所述预测框和最小外 接封闭矩形。 6.一种基于可 见光图像的光伏板 定位与缺陷检测系统， 其特 征在于， 包括下述模块： 获取数据集模块， 用于采集光伏板 图像并对光伏板位置和类别进行标注， 构建光伏板 可见光图像数据集， 按预设比例将其划分训练集和 测试集； 获取光伏板边缘掩膜图模块， 用于利用所述训练集训练SEFPN语义分割网络， 得到光伏 板边缘掩膜图， 其中所述SEFPN语义分割网络由VGG16基础网络、 具有通道注意力机制的特权　利　要　求　书 2/3 页 3 CN 114332020 A 3