(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111644092.3 (22)申请日 2021.12.2 9 (71)申请人 南京拟态智能技 术研究院有限公司 地址 210013 江苏省南京市 鼓楼区古平岗4 号 (72)发明人 张国和　范文锦　丁莎　陈世淼　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 毕东峰 (51)Int.Cl. G06V 10/764(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于SNN的图像识别软硬件系统 (57)摘要 本发明公开了一种基于SNN的图像识别软硬 件系统， 由输入转换单元、 中间计算单元和输出 识别单元构成， 分别完成输入图像的脉冲序列转 换、 中间脉冲的信息传递和模型最终的分类输 出； 输入转换单元主要包括预处理模块和滤波编 码模块两部分， 中间计算单元包括脉冲传递模 块、 竞争抑制模块和权重学习模块， 输出识别单 元包括全局池化模块和投票仲裁模块,实现了一 种基于新型SNN自分类模型的端到端图像识别系 统解决方案， 并完成了关于异构计算平台的系统 分布式部署与并行度优化， 同时兼顾了硬件适配 性和计算兼容性， 提高了系统模 型的整体运行效 率。 权利要求书2页 说明书5页 附图3页 CN 114663693 A 2022.06.24 CN 114663693 A 1.一种基于SN N的图像识别软硬件系统， 其特 征在于， 所述系统包括： 输入转换 单元， 用于完成输入图像的脉冲序列转换； 中间计算单 元， 用于完成中间脉冲的信息传递； 输出识别单 元， 用于完成模型最终分类输出， 目标图像先经过输入转换单元编码为脉冲序列， 以符合中间脉冲的传递形式， 再经过 卷积和池化过程后， 对应网络模型全局池化层的输出脉冲作为投票仲裁模块的特征向量并 输出最终的分类结果。 2.根据权利要求1所述的一种基于SNN的图像识别软硬件系统， 其特征在于， 所述中间 计算单元包括还 包括： 脉冲传递模块， 用于中间脉冲的信息传递， 包括脉冲卷积模块和脉冲池化模块； 权重学习模块， 负责网络 权重的学习过程； 竞争抑制模块， 用于脉冲传递过程和 和权重学习过程的辅助调节机制， 将包含有脉冲传递模块、 竞争抑制模块和权重学习模块的中间计算单元整体由CPU主 机转移到GPU设备上并行执行， 并通过CUDA核函数进行统一线程资源调配并且完成对于输 入输出接口 的数据交换， 以实现对于系统典型功能模块和相应 计算过程的异构加速 。 3.根据权利要求2所述的一种基于SNN的图像识别软硬件系统， 其特征在于， 脉冲卷积 模块基于离散二值化脉冲传递形式设计， 若网络结构 中前一级的卷积窗口内有脉冲发生， 则后一级的神经元电压加上与该窗口对应的权值， 脉冲池化模块根据池化窗口的脉冲确定 输出， 若池化窗口任意 一个神经 元发出脉冲， 则下一层的神经 元发出脉冲。 4.根据权利要求2所述的一种基于SNN的图像识别软硬件系统， 其特征在于， 权重学习 模块中包括STDP 权重学习模块， 其修改规则表示为原始权重改变量与边界约束 条件中对应 LTP/LTD过程的缩放因子的乘积且原始权重该变量的大小， 在模型训练过程参数确 定的条 件下， 对应时间窗口内的权重改变量大小均可视为序列化常数， 通过将其计算结果预先按 照脉冲时间 间隔的正负区分并分别存 储于相应的散列表中。 5.根据权利要求4所述的一种基于SNN的图像识别软硬件系统， 其特征在于， 权重学习 模块中还包括RL ‑STDP权重学习模块， 在STDP权重学习模块的基础上引入了输入标签反馈 信号， 其中当真实输入标签与实际输出类别相同时， 对应执行奖励过程学习模块； 当真实输 入标签与实际输出类别不同时， 则对应执 行惩罚过程学习模块。 6.根据权利要求4所述的一种基于SNN的图像识别软硬件系统， 其特征在于， 竞争抑制 模块包括传输型抑制方式和学习型抑制方式， 并且分别作用于脉冲传递模块和权重学习模 块。 7.根据权利要求1所述的一种基于SNN的图像识别软硬件系统， 其特征在于： 输入转换 单元中包括格式化模块， 格式化模块包括灰度化、 标准化、 去边框和阈值化四个主要步骤， 通过灰度化和标准化将原始图像的红、 绿、 蓝三个颜色通道的输入信息转化为对应灰度值 的大小， 并将其缩放为统一的标准尺寸， 通过去边框和阈值化去除原始输入图像中包含的 边框信息， 并滤除无效的低阶灰度。 8.根据权利要求1所述的一种基于SNN的图像识别软硬件系统， 其特征在于： 输入转换 单元还包括滤波编码模块， 使用归一化的高斯差分函数对于输入图像进行二维滤波处理， 初始脉冲发放时间为：权　利　要　求　书 1/2 页 2 CN 114663693 A 2其中， pi为输入像 素点灰度值， pmax和pmin分别为输入像 素点灰度值的最大值和最小 值， T 为网络最长处理周期， L为网络模 型层数256个灰度值对应处理周期T的时间， 灰度值与发放 脉冲时间呈现 反比例关系。 9.根据权利要求1所述的一种基于SNN的图像识别软硬件系统， 其特征在于： 输出识别 单元包括全局池化模块， 对应不同输入图像分组类别的池化结果， I类 分组的池化结果中最 早的脉冲产生时刻均处于输出通道的前半部 分， 对应II类分组的池化结果中最早的脉冲产 生时刻均处于 输出通道的后半部分。 10.根据权利要求1所述的一种基于SNN的图像识别软硬件系统， 其特征在于： 输出识别 单元模块还包括投票仲裁模块， 对应全局池化模块的输出结果， 前5个与输入图像的I类对 应， 后5个与输入图像的II类对应， 若某组神经元最早产生脉冲， 该神经元输出结果有效， 对 应分组票数增加； 若脉冲较晚或没有产生， 该神经元输出结果无效， 对应分组票数不变， 模 块将对应票数最多的分组类别作为识别系统的最 终输出结果， 当两组票数相等时则表示系 统识别失败。权　利　要　求　书 2/2 页 3 CN 114663693 A 3