ICS 33.050.20 M 30 电信终端产业协会标 准 T/TAF 063-2020 移动智能终端人工智能性能基准测试方法 Benchmark Test Methods for AI Performance of Intelligent Terminal 2020- 08 - 04发布 2020 - 08 - 04实施 电信终端产业协 会 发布 T/TAF 063 -2020 I 目 次 目 次 ................................ ................................ ............... I 前 言 ................................ ................................ .............. II 引言 ................................ ................................ ............... III 标动智能终端人工智能 性能基准测试方法 ................................ ................. 1 1 范围 ................................ ................................ ............... 1 2 规范性引用文件 ................................ ................................ ..... 1 3 文件清单的排列顺序： ................................ ............................... 1 4 术语和定义 ................................ ................................ ......... 1 4.1 神经网络模型 ................................ ................................ ... 1 4.2 推理集 ................................ ................................ ......... 1 4.3 端侧人工智能推理框架 ................................ ........................... 1 4.4 模型转换工具 ................................ ................................ ... 2 4.5 深度学习编译器 ................................ ................................ . 2 4.6 基准测试例 ................................ ................................ ..... 2 4.7 终端硬件 ................................ ................................ ....... 2 5 测试概述 ................................ ................................ ........... 2 5.1 测试构架 ................................ ................................ ....... 2 5.2 通用测试方法 ................................ ................................ ... 3 5.3 性能指标监测 ................................ ................................ ... 3 6 图像处理测试方法 ................................ ................................ ... 3 6.1 图像分类测试方法 ................................ ............................... 3 6.2 人脸识别测试方法 ................................ ............................... 4 6.3 目标语义分割测试方法 ................................ ........................... 5 6.4 图片超分辨率测试方法 ................................ ........................... 6 6.5 目标检测测试方法 ................................ ............................... 7 7 视频处理测试方法 ................................ ................................ ... 8 7.1 视频目标检测测试 ................................ ............................... 8 附 录 A （规范性附录） 标准修订历史 ................................ ................ 9 附 录 B 图像语义分割测试类别 ................................ ....................... 9 附 录 C 图像超分辨率测试推断集 ................................ .................... 10 附 录 D 目标检测类别 ................................ .............................. 10 参考文献 ................................ ................................ ............ 13 T/TAF 063 -2020 II 前 言 本标准按照 GB/T-2009给出的规则起草。 本标准中的某些内容可能涉及专利。本标准的发布机构不承担识别这些专利的责任。 本标准由电信终端产业协会提出并归口。 本标准起草单位 ：中国信息通信研究院、 维沃移动通信有限公司 、OPPO广东移动通信有限公司 本标准主要起草人 ：解谦，卢炳全，高立发，贾利敏 T/TAF 063 -2020 III 引 言 随着人工智能的飞速发展，为满足低响应时间，高安全可靠性以及在任意使用环境下（如无网络） 使用AI场景，一部分 AI应用将以部署在终端设备的方式运行，如移动智能手机，平板电脑等 。一款智 能移动终端 AI处理性能的好坏，一般可以通过基准测试的方式衡量。本标准 基于移动终端推理框架技 术，提出一个合理、公平，能反映出终端实际的 AI处理能力的基准测试方法，包括对 AI基准测试在不 同应用场景的数据集的技术要求，测试方法和评测指标，旨在让终端 AI处理性能测试得到可靠的，可 比较的，能体 现终端AI处理能力差异的评测结果，推动智能移动终端向 AI终端发展 。 T/TAF 063 -2020 1 移动智能终端人工智能性能基准测试方法 1 范围 本标准规定了 通过使用 端侧人工智能推理框架 在移动智能终端侧进行推理计算的基准测试的方 法，可以对终端基于神经网络模型的计算 性能进行评估。评测 场景包括图像处理 、视频处理 等不同场 景，针对不同 场景测试集 ，测试方法和评测指标提出要求 。 本标准适用于 具备智能操作系统的移动智能终端，包括数字移动电话机，平板电脑以及其他数字 移动通信终端设备 。 2 规范性引用文件 下列文件对于本标准的应用是必不可少的。凡是注日期的引用文 件，仅注日期的版本适用于本标 准。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本标准。 3 文件清单的排列顺序： a）国家标准； b）行业标准； d）国内有关文件； e）国际标准（含 ITU标准、ISO/IEC标准等）； f）ISO或IEC有关文件； g）其他国际标准以及其他国际有关文件。 4 术语和定义 4.1 神经网络模型 封装了神经网络算法和参数的特定格