ICS 33.050 M 30 智能产品语音识别测评方法 第二部分：智能音箱 Evaluation Specification of Speech Recognition for Smart Products Part 2: Smart Speaker 2019 -10 -14发布 2019 - 10 - 14实施 电信终端产业协会 发布 团体标准 T/TAF 043-2019 T/TAF 043-2019 I 目录 目录 ................................ ................................ ................. I 前言 ................................ ................................ ................ II 引言 ................................ ................................ ............... III 智能产品语音识别测评方法 第二部分：智能音箱 ................................ .......... 1 1 范围 ................................ ................................ ............... 1 2 规范性引用文件 ................................ ................................ ..... 1 3 术语、定义和缩略语 ................................ ................................ . 1 3.1 术语和定义 ................................ ................................ ..... 1 3.2 缩略语 ................................ ................................ ......... 3 4 功能要求 ................................ ................................ ........... 3 4.1 智能音箱系统框架 ................................ ............................... 3 4.2 接口 ................................ ................................ ........... 4 4.3 网络 ................................ ................................ ........... 4 4.4 语音交互 ................................ ................................ ....... 4 4.5 资源内容 ................................ ................................ ....... 5 4.6 账号和升级管理 ................................ ................................ . 5 5 语料设计和环境搭建 ................................ ................................ . 6 5.1 语料库设计 ................................ ................................ ..... 6 5.2 测试环境 ................................ ................................ ....... 6 6 测试方法 ................................ ................................ ........... 7 6.1 唤醒率 ................................ ................................ ......... 8 6.2 误唤醒率 ................................ ................................ ....... 8 6.3 唤醒延迟 ................................ ................................ ....... 8 6.4 识别响应准确率 ................................ ................................ . 9 6.5 识别响应时间 ................................ ................................ ... 9 6.6 用户意图识别准确率 ................................ ............................. 9 该指标用于评价智能音箱具体功能支持的广度与深度。 ................................ ... 9 附 录 A （规范性附录） 标准修订历史 ................................ ............... 10 附 录 B （资料性附录） 测试集技能领域参考 ................................ ......... 11 参考文献 ................................ ................................ ............ 13 T/TAF 043-2019 II 前 言 本标准按照 GB/T 1.1 -2009给出的规则编写。 本标准由 电信终端产业协会 提出并归口。 本标准起草单位：中国信息通信研究院、华为技术有限公司。 本标准主要起草人： 李玮、傅蓉蓉、张小雨、 董千洲、 刘毓炜、郑宗斌、高伟、孙亮、陈会 T/TAF 043-2019 III 引 言 目前智能音箱行业空 前火热，互联网巨头纷纷扎堆布局智能音箱 。智能音箱被认为是物联网的 “新 入口”，它集成了 AI智能引擎，搭载语音交互、有声资源播放、智能家居控制、生活 O2O服务等功能， 使用场景丰富，潜力巨大。 但与此同时，用 户在使用 智能音箱时 也面临标准缺失带来的问题，比 如唤醒 效果差、误唤醒、语音识别错误、答非所问、音质差、抗噪能力不足等， 成为阻碍 智能音箱 发展、无法 满足用户 体验的重要原因。 因此，有必要针对 智能音箱 制定面向消费者的语音交互测评 方法，从而为 智能音箱 的质量评估提供 必要的参考依据，帮助更好地规范 智能音箱 市场，保障用户的使用 体验。 T/TAF 043-2019 1 智能产品语音识别测评方法 第二部分：智能音箱 1 范围 本标准规定了 智能音箱语音交互性能测评指标和测试方法。 本标准适用于指导第三方测评机构对智能音箱的性能测评工作。 2 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本适用于本文 件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件 SJ/T 11380 -2008 自动声纹识别（说话人识别）技术规范 GB/T 21023 -2007 中文语音识别系统通用技术规范 DB50/T 489 -2013 智能家居监控系统技术要求 DB50/T 488 -2013 智能家居监控系统测试规范 ITU-T P.851 基于口语对话系统的电话服务的主观质量评价 （Subjective quality evaluation of telephoneservices based on spoken dialogue systems ） 3 术语、定义和缩略语 3.1 术语和定义 下列术语和定义适用于本文件 3.1.1 智能音箱 智能音箱 是一款具备传统音箱功能，同时在此基础上拥有语音识别 、语义理解和语音合成的整套语 音交互功能的智能设备。 产品 可拥有多种互联网服务内容， 成为消费者从互联网上获取信息的一种工具 ， 例如点播歌曲、 听新闻，或是了解天气预报，它也可以对智能家居设备进行控制，比如打开 空调、预约 电饭锅煮饭 等。 3.1.2 麦克风阵列 Micropho