(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111633287.8 (22)申请日 2021.12.2 9 (65)同一申请的已公布的文献号 申请公布号 CN 113989627 A (43)申请公布日 2022.01.28 (73)专利权人 深圳市万物云科技有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室 (72)发明人 袁戟　常可欣　 (74)专利代理 机构 深圳市精英专利事务所 44242 专利代理师 冯筠 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/774(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06F 21/60(2013.01) H04L 9/00(2022.01) H04L 67/06(2022.01) (56)对比文件 CN 112232528 A,2021.01.15 CN 111368886 A,2020.07.0 3 审查员 曹春晓 (54)发明名称 一种基于异步联邦学习的城市防控图像检 测方法和系统 (57)摘要 本发明公开了一种基于异步联邦学习的城 市防控图像检测方法， 包括云端服务器初始化全 局模型； 各端部设备对城市防控图像数据进行场 景标注， 将城市防控图像数据分为训练集和测试 集， 并从训练集中筛选出与测试集样本分布接近 的数据集作为待训练集； 向云端服务器获取全局 模型， 对待训练集进行本地训练得到本地模型； 各端部设备将本地模型通过同态加密后上传至 云端服务器； 云端服务器采用异步联邦计算策略 对本地模型进行全局模型训练， 得到更新后的全 局模型。 权利要求书3页 说明书6页 附图1页 CN 113989627 B 2022.05.27 CN 113989627 B 1.一种基于异步联邦学习的城市防控图像 检测方法， 其特 征在于， 包括： S101， 云端服 务器初始化全局模型； S102， 各端部设备对城市防控图像数据进行场景标注， 将所述城市防控图像数据分为 训练集和测试集， 并从所述训练集中筛选出与所述测试集样本 分布接近的数据集作为待训 练集； S103， 向云端服 务器获取 所述全局模型， 对所述待训练集进行本地训练得到 本地模型； S104， 各端部设备将所述本地模型通过同态加密后上传至云端服 务器； S105， 所述云端服务器采用异步联邦计算策略对所述本地模型进行全局模型训练， 得 到更新后的全局模型； S106， 转入步骤S102， 直至云端服 务器上的全局模型达 到预期性能； 其中， 步骤S102中， 所述从所述训练集中筛选出与所述测试集样本分布接近的数据集 作为待训练集， 包括： 计算所述测试集的数据分布 ； 采用以下公式计算所述训练集和所述测试集的特 征分布KL散度： ； 根据所述KL散度判断所述训练集是否与所述测试集样本分布接 近； 若是， 不需要对所述训练集进行采样； 若否， 对所述训练集进行采样得到所述待训练集； 其中， 表示第k个端部设备中的部分采样数据对应的归一化数据特征， 表 示所述训练集的数据分布， 表示一端部设备采集的归一 化数据特 征； 其中， 所述对所述训练集进行采样得到所述待训练集， 包括： 根据所述训练集的数据分布 ， 随机采样图像数据特 征 ； 根据建议分布 服从 ， 采样得到图像数据特 征 ； 采用以下公式计算第一中间值 ： ； 从 均匀分布中抽样得到第二中间值u； 判断第一中间值是否大于等于第二中间值； 若是， 接受图像数据特 征 进入所述待训练集， 即 ； 若否， 接受图像数据特 征 进入所述待训练集， 即 ； 重复以上操作以对所有图像数据特征 进行筛选， 并在迭代了t轮后得到服从数据 分布 的图像数据特 征集； 对所述图像数据特 征集进行反向迭代得到所述待训练集；权　利　要　求　书 1/3 页 2 CN 113989627 B 2其中， 表示 的数据分布， 表示 的数据分布。 2.根据权利要求1所述的基于异步联邦学习的城市防控图像检测方法， 其特征在于， 所 述向云端服 务器获取 所述全局模型， 对所述待训练集进行本地训练得到 本地模型， 包括： 各端部设备采用Sparse  R‑CNN模型对已标注的所述待训练集进行本地训练。 3.根据权利要求1所述的基于异步联邦学习的城市防控图像检测方法， 其特征在于， 所 述采用异步联邦计算策略对所述本地模型进行训练， 得到更新后的全局模型， 包括： 所述云端服务器统计参与至本次全局模型训练的本地模型数量， 判断其中每个本地模 型是否曾在指定时间窗口参与过往训练； 若判断为否， 所述本地模型不加入本次全局模型训练； 若判断为是， 赋予所述本地模型相应权 重， 加入全局模型训练。 4.根据权利要求3所述的基于异步联邦学习的城市防控图像检测方法， 其特征在于， 所 述判断其中每 个本地模型 是否曾在指定时间窗口参与过往训练， 包括： 采用如下公式判断其中每 个本地模型 是否曾在指定时间窗口参与过往训练： ； 其中， s为当前全局模型更新的轮数， 为一本地模型参与训练过的轮数，   为超参 数， 用于设置全局模型训练中能容纳多少个版本的本地模型时间窗口。 5.根据权利要求3所述的基于异步联邦学习的城市防控图像检测方法， 其特征在于， 所 述若判断为是， 赋予所述本地模型相应权 重， 加入全局模型训练， 包括： 采用如下公式赋予所述本地模型相应权 重： ； 采用如下公式计算第s轮各个本地模型对 全局模型的影响权 重： ； 其中， 为同一轮参与更新的一本地模型中的数据数量， 为同一轮参与更新的所有 本地模型的总数据量， 为第s轮的本地模型的权重值， 第s轮的全局模型的权重值， 为第s轮的各个本地模型代码集 合， 为学习率， 为决定影响权 重衰减率的超参数。 6.一种基于异步联邦学习的城市防控图像检测系统， 其特征在于， 包括： 云端服务器和 各端部设备； 所述云端服务器用于初始化全局模型； 采用异步联邦计算策略对所述本地模型进行全 局模型训练， 得到更新后的全局模型； 所述端部设备用于对城市防控图像数据进行场景标注， 将所述城市防控图像数据分为 训练集和测试集， 并从所述训练集中筛选出与所述测试集样本 分布接近的数据集作为待训 练集； 向云端服务器获取所述全局模型， 对所述待训练集进 行本地训练得到本地模型； 将所 述本地模型通过同态加密后上传至云端服 务器； 其中， 所述端部设备还用于： 计算所述测试集的数据分布 ； 采用以下公式计算所述训练集和所述测试集的特 征分布KL散度：权　利　要　求　书 2/3 页 3 CN 113989627 B 3