自然语言处理技术及产品评估方法 第3部分：智能翻译机 Natural language processing technology and product evaluation method — Part 3: intelligent translato r （报批稿） YD YD/T×××× —××××中 华 人 民 共 和 国 通 信 行 业 标 准 中华人民共和国工业和信息化部 发 布ICS 35.240 CCS L67 ××××-××-××发布 ××××-××-××实施YD/T XXXX—XXXX I目 次 前 言 ....................................................................... II 引 言 ...................................................................... III 1 范围 ........................................................................ 1 2 规范性引用文件 .............................................................. 1 3 术语和定义 .................................................................. 1 4 缩略语 ...................................................................... 2 5 智能翻译机基本框架 .......................................................... 2 6 评估方法概述 ................................................................ 2 7 指标项及评估方法 ............................................................ 3 7.1 智能翻译机指标体系 .................................................... 3 7.2 基础功能评估 .......................................................... 3 7.3 AI核心技术支持能力评估 ............................................... 4 7.4 安全性与稳定性评估 .................................................... 8 7.5 附加业务功能 .......................................................... 9 YD/T XXXX—XXXX II前 言 本文件按照 GB/T 1.1-2020 《标准化工作导则 第1部分：标准化文件的结构和起草规则》 给出的规定起草。 本文件是 《自然语言处理技术及产品评估方法 》系列标准之一 ，该系列标准的结构和名 称如下： ——第1部分：基础服务平台； ——第2部分：对话系统； ——第3部分：智能翻译机； ——第4部分：机器同传系统； ——第5部分：智能客服系统； ——第6部分：客服质检系统。 请注意本文件的某些内容可能涉及专利 ，本文件的发布机构不承担识别这些专利的责任 。 本文件由中国通信标准化协会提出并归口。 本文件起草单位 ：中国信息通信研究院、南京新一代人工智能研究院有限公司、科大讯 飞股份有限公司、北京百度网讯科技有限公司、北京声智科技有限公司、北京理工大学。 本文件主要起草人：董晓飞、张学强、张丹 、曹峰、王浩、 陆铁文、刘俊华、何永春、 张睿卿、何中军、吴华、李笑如、陈孝良、李良斌、屈少杰。 YD/T XXXX—XXXX III引 言 0.1 编制目的及标准结构 智能翻译机是一种可自动实现由源语言向另目标语言转换的电子器件 ，因能消除不同文 字和语言的隔阂 ，近年来在旅游和教育等场景中获得了较好的应用 。智能翻译机集成了语种 识别、机器翻译等自然语言处理技术 ，集成了语音识别 、语音合成等语音处理技术 ，还集成 了OCR、人脸识别等图像处理技术 ，覆盖了人工智能算法层三大核心技术 ，属于多模态融合 应用的典型产品 。为规范智能翻译机的技术效果和服务形式 ，引导智能翻译机产业健康发展 ， 开展相关标准的制定工作。 自然语言处理技术及产品评估方法系列标准由以下六个部分组成。 ——第1部分：基础服务平台。目的在于提供词法分析、句法分析、语义分析等 NLP基 础技术，可提供情感分析 、机器翻译 、对话系统等 NLP应用技术的服务平台 ，从基 础技术、应用技术、服务能力 等三个维度对 NLP服务平台进行评估。 ——第2部分：对话系统。目的在于集成了对话系统功能的产品或服务，从对话类型、 对话功能、对话性能、对话体验四个维度进行评估。 ——第3部分：智能翻译机。目的在于可实现语音输入、自动翻译和语音输出的智能翻 译机，从基础功能、 AI核心技术支持能力、安全性与可靠性和附加业务功能等四 个维度对智能翻译机进行评估。 ——第4部分：机器同传系统。目的在于提供语音输入、自动分句、机器翻译、语音输 出或译文投屏的机器同传系统，从基础功能、 AI核心技术支持能力、工程实现能 力、附加业务能力等四个维度对机器同传系统进行评估。 ——第5部分：智能客服系统。目的在于提供语音客服机器人、文本客服机器人等多种 产品形态的智能客服系统，从基础功能、 AI核心技术支持能力、企业服务能力和 系统成熟度等四个维度对智能客服进行评估。 ——第6部分：客服质检系统。目的在提供人工客服和智能客服的质检系统，从智能语 音、自然语言理解、基础能力、质检能力四个维度进行评估。 本文件是“自然语言处理技术及产品评估方法” 系列文件第 3部分：智能翻译机，是为 智能翻译机的研发者和选型者提供评估参考规范。 0.2 相关专利情况说明 本文件的发布机构提请注意 ，声明符合本文件时 ，可能涉及到 5、7.3.1、7.3.3和7.3.5 中如下 4项和智能翻译机技术相关的专利使用。专利名称如下： CN201911010911.1 ，语音合成的评估方法、装置、电子设备及可读存储介质； CN201110307878.6 ，获取语料的方法及装置、生成翻译模型的方法及系统、机器翻译的方 法及系统； CN201810712539.8 ，用于语音翻译的方法、装置、设备和计算机可读存储介质； CN201310746678.X ，翻译译文的提供方法、装置和系统。 本文件的发布机构对于该专利的真实性、有效性和范围无任何立场。 该专利持有人已向本文件的发布机构承诺 ，他愿意同任何申请人在合理且无歧视的条款 和条件下 ，就专利授权许可进行谈判 。该专利持有人的声明已在本文件的发布机构备案 ，相YD/T XXXX—XXXX IV关信息可以通过以下联系方式获得： 专利持有人姓名：北京百度网讯科技有限公司 地址：北京市海淀区上地十街 10号百度大厦 2层 请注意除上述专利外 ，本文件的某些内容仍可能涉及专利 。本文件的发布机构不承担识 别这些专利的责任。YD/T XXXX—XXXX 1自然语言处理技术及产品评估方法 第3部分：智能翻译机 1　范围 本文件规定了可实现语音输入 、自动翻译和语音输出的智能翻译机的指标要求和评估方 法，主要包括智能翻译机基本框架 、评估方法概述 、指标项及评估方法 ，所述智能翻译机不 包括支持翻译的蓝牙耳机、电子词典和录音笔。 本文件适用于指导第三方测评机构对智能翻译机的评估、验收等工作。 2　规范性引用文件 下列文件对于本文件的应用是必不可少的 。凡是注日期的引用文件 ，仅所注日期的版本 适用于本文件 。凡是不注日期的引用文件 ，其最新版本 （包括所有的修改单 ）适用于本文件 。 GB/T 19682-2005 翻译服务译文质量要求 GB/T 21023-2007 中文语音识别系统通用技术规范 GB/T 21024-2007 中文语音合成系统通用技术规范 3　术语和定义 下列术语和定义适用于本文件。 3.1　 语音识别 speech recognition 将人类的声音信号转化为文字或者指令的技术。 [来源：GB/T 21023-2007 ，3.1] 3.2　 语音合成 text to speech 通过机械的、电子的方法合成人类语言的过程。 [来源：GB/T 21024-2007 ，3.1] 3.3　 机器翻译 machine translation 将一种语言（源语言）自动转换为另一种语言（目标语言）的技术。 3.4　 用户 users YD/T XXXX—XXXX 2使用智能翻译机解决其业务问题的组织或个人。 4　缩略语 下列缩略语适用于本文件： AI