自然语言处理技术及产品评估方法 第5部分：智能客服系统 Natural language processing technology and product evaluation method — Part 5: intelligent customer service system （报批稿） YD YD/T×××× —××××中 华 人 民 共 和 国 通 信 行 业 标 准 ××××-××-××发布 ××××-××-××实施 中华人民共和国工业和信息化部 发 布ICS 35.240 CCS L67YD/T×××× —×××× I目 次 前 言 ....................................................................... II 引 言 ...................................................................... III 1 范围 ........................................................................ 1 2 规范性引用文件 .............................................................. 1 3 术语和定义 .................................................................. 1 4 缩略语 ...................................................................... 2 5 智能客服系统框架 ............................................................ 2 6 指标及评估方法 .............................................................. 3 6.1 通则 .................................................................. 3 6.2 基础功能 .............................................................. 4 6.3 AI核心技术支持能力 ................................................... 7 6.4 企业服务能力 ......................................................... 10 6.5 系统成熟度 ........................................................... 11 YD/T×××× —×××× II前 言 本文件按照 GB/T 1.1-2020 《标准化工作导则 第1部分：标准化文件的结构和起草规则》 给出的规定起草。 本文件是 《自然语言处理技术及产品评估方法 》系列标准之一 ，该系列标准的结构和名 称如下： ——第1部分：基础服务平台； ——第2部分：对话系统； ——第3部分：智能翻译机； ——第4部分：机器同传系统； ——第5部分：智能客服系统； ——第6部分：客服质检系统。 请注意本文件的某些内容可能涉及专利 ，本文件的发布机构不承担识别这些专利的责任 。 本文件由中国通信标准化协会提出并归口。 本文件起草单位 ：中国信息通信研究院、南京新一代人工智能研究院有限公司、深圳市 腾讯计算机系统有限公司、北京百度网讯科技有限公司、北京中科汇联科技股份有限公司、 北京声智科技有限公司 、思必驰科技股份有限公司 、中国联合网络通信集团有限公司 、科大 讯飞股份有限公司 、上海智臻智能网络科技股份有限公司 、中国移动通信集团有限公司 、中 国电信集团有限公司、北京理工大学。 本文件主要起草人 ：张学强、董晓飞、张丹、王浩、曹峰、陆铁文、胡嘉璇、王品、孙 叔琦、耿彪、吴华、李笑如、游世学、吴金妹、陈孝良、李良斌、龙梦竹、陈辉龙、缪庆亮、 包景全、李培、王建成、叶静、何永春、程鸣、陈喆、白翠琴、李强、张伟、杨阳、赵龙刚、 杨震、孙佩霞、屈少杰。 YD/T×××× —×××× III引 言 0.1 编制目的及标准结构 智能客服是指基于自然语言处理 、语音识别 、语音合成等人工智能核心技术 ，通过单轮 或多轮对话识别用户问题的语义 ，并依靠所维护的后台知识库及接口组件实现智能问答的客 户服务形式 。过去近十年 ，移动互联 、云计算、大数据和人工智能等技术的发展将传统呼叫 中心和客服行业带入了软件即服务和智能化时代 。一方面，全新软件即服务模式使得企业搭 建客服中心的成本大大降低，产品功能更加丰富，应用场景也从服务延伸到了销售、营销、 售后等多个环节 ；另一方面，智能客服通过辅助人工以及回答简单的重复性问题，大大提高 了人工客服的工作效率 。为引导智能客服产业健康发展 ，营造良好的市场环境 ，开展智能客 服系统评估标准的制定。 自然语言处理技术及产品评估方法系列标准由以下六个部分组成。 ——第1部分：基础服务平台。目的在于提供词法分析、句法分析、语义分析等 NLP基 础技术，可提供情感分析、机器翻译、对话系统等 NLP应用技术的服务平台，从 基础技术、应用技术、服务能力 等三个维度对 NLP服务平台进行评估。 ——第2部分：对话系统。目的在于集成了对话系统功能的产品或服务，从对话类型、 对话功能、对话性能、对话体验四个维度进行评估。 ——第3部分：智能翻译机。目的在于可实现语音输入、自动翻译和语音输出的智能翻 译机，从基础功能、 AI核心技术支持能力、安全性与可靠性和附加业务功能等四 个维度对智能翻译机进行评估。 ——第4部分：机器同传系统。目的在于提供语音输入、自动分句、机器翻译、语音输 出或译文投屏的机器同传系统，从基础功能、 AI核心技术支持能力、工程实现能 力、附加业务能力等四个维度对机器同传系统进行评估。 ——第5部分：智能客服系统。目的在于提供语音客服机器人、文本客服机器人等多种 产品形态的智能客服系统，从基础功能、 AI核心技术支持能力、企业服务能力和 系统成熟度等四个维度对智能客服进行评估。 ——第6部分：客服质检系统。目的在提供人工客服和智能客服的质检系统，从智能语 音、自然语言理解、基础能力、质检能力四个维度进行评估。 本文件是“自然语言处理技术及产品评估方法” 系列文件第 5部分：智能客服系统，是 为智能客服系统的研发者和选型者提供评估参考规范。 0.2 相关专利情况说明 本文件的发布机构提请注意 ，声明符合本文件时 ，可能涉及到 5和6.3.2中如下 2项和 智能客服系统相关的专利使用。专利名称如下： CN201911010911.1 ，语音合成的评估方法、装置、电子设备及可读存储介质； CN201810713093.0 ，用于跨类型对话的方法、装置、设备以及计算机可读存储介质。 本文件的发布机构对于该专利的真实性、有效性和范围无任何立场。 该专利持有人已向本文件的发布机构承诺 ，他愿意同任何申请人在合理且无歧视的条款 和条件下 ，就专利授权许可进行谈判 。该专利持有人的声明已在本文件的发布机构备案 ，相YD/T×××× —×××× IV关信息可以通过以下联系方式获得： 专利持有人姓名：北京百度网讯科技有限公司 地址：北京市海淀区上 地十街 10号百度大厦 2层 请注意除上述专利外 ，本文件的某些内容仍可能涉及专利 。本文件的发布机构不承担识 别这些专利的责任。YD/T×××× —×××× 1自然语言处理技术及产品评估方法 第5部分：智能客服系统 1　范围 本文件规定了外呼 、呼入、语音导航 、在线咨询等智能客服的指标和评估方法 ，主要包 括基础功能、 AI核心技术支持能力、企业服务能力、系统成熟度等四个维度。 本文件适用于指导第三方测评机构开展智能客服系统评估 、验收等工作 ，同时适用于外 呼、呼入、语言导航、在线智能咨询系统等多种智能客服产品形态。 2　规范性引用文件 下列文件对于本文件的应用是必不可少的 。凡是注日期的引用文件 ，仅所注日期的版本 适用于本文件 。凡是不注日期的引用文件 ，其最新版本 （包括所有的修改单 ）适用于本文件 。 GB/T 5271.28-2001 信息技术 词汇 第28部分：人工智能 基本概念与专家系统 GB/T 21023-2007 中文语音识别系统通用技术规范 GB/T 21024-2007 中文语音合成系统通用技术规范 GB/T 36464.3-2018 信息技术 智能语音交互系统 第3部分：智能客服 3　术语和定义 下列术语和定义适用于本文件。 3.1　 客服系统 customer service system 企业为用户提供客服服务的系统，传统上由人工完成客户服务的功能。 [来源：GB/T 36464.3-2018 ，3.1] 3.2　 智能客服系统 inte