炼数成金 门户 商业智能 自然语言处理 查看内容

语音合成(TTS)技术的概念、技术边界与未来机会

2018-10-12 09:59| 发布者: 炼数成金_小数| 查看: 41004| 评论: 0|来自: hanniman

摘要: TTS(Text-To-Speech,语音合成),目前是一个“小而美”的AI领域,但我个人觉得非常有意思,感觉TTS在未来会被行业真正重视起来,并且会出现做得不错的创业公司。我们比较熟悉的ASR技术(Automatic Speech Recognit ...

工具 模型 算法 测试 微软

TTS(Text-To-Speech,语音合成),目前是一个“小而美”的AI领域,但我个人觉得非常有意思,感觉TTS在未来会被行业真正重视起来,并且会出现做得不错的创业公司。

本文,是作者收集了很多线上/线下的相关信息后,提炼出的AI产品经理“最必要”了解的TTS技术知识和行业现状(多了没必要,少了又不足以入门、准备面试或工作实战);不仅帮大家节省了时间,更是过滤了很多无用信息和过于技术的内容。

目录
一、核心概念
二、当前技术边界
三、瓶颈和机会(重点)

一、核心概念
1、TTS和ASR的概念区别
我们比较熟悉的ASR技术(Automatic Speech Recognition,语音识别),是将声音转化为文字,可类比于人类的耳朵。

而TTS技术(Text-To-Speech,语音合成),是将文字转化为声音(朗读出来),类比于人类的嘴巴。大家在Siri等各种语音助手中听到的声音,都是由TTS来生成的,并不是真人在说话。

TTS的技术实现方法,主要有两种:“拼接法”和“参数法”。

2、拼接法
1)定义:从事先录制的大量语音中,选择所需的基本单位拼接而成。这样的单位可以是音节、音素等等;为了追求合成语音的连贯性,也常常用使用双音子(从一个音素的中央到下一个音素的中央)作为单位。

2)优点:语音质量较高

3)缺点:数据库要求太大。一般需要几十个小时的成品预料。企业级商用的话,需要至少5万句,费用成本在几百万元。

3、参数法

1)定义:根据统计模型来产生每时每刻的语音参数(包括基频、共振峰频率等),然后把这些参数转化为波形。主要分为3个模块:前端、后端和声码器。
前端做的事情,是把文本进行解析,决定每个字的发音是什么,这句话用什么样的语气语调,用什么样的节奏来读,哪些地方是需要强调的重点等等。常见的语气相关的数据描述包含但不限于下面这些:韵律边界,重音,边界调,甚至情感。 还有更多的信息甚至是难以客观描述的,目前的算法只能暂且忽略。
注:拼接法和参数法,都有前端模块,拼接和参数的区别主要是后端声学建模方法的区别。

2)优点:数据库要求相对较小一些。
如果只需要出声(做demo),大概500句就可以,但是效果肯定不行。
通用TTS,一般至少需要5000句,6个小时(一般录制800句话,需要1个小时)。——从前期的准备、找人、找录音场地、录制、数据筛选、标注,最终成为“可以用的数据”,可能至少需要3个月。(讯飞在各方面比较成熟,用时会短很多)
个性化TTS,大多数是用“参数”方法的。(adobe、微软也有尝试过拼接法,不过相对参数方法来说不是太成熟,效果也并不是太通用)

3)缺点:质量比拼接法差一些。因为受制于发声算法,有损失。
因为主要弱点和难点就是声码器。声码器的作用是复现声音信号,难在重现声音细节,并且让人听不出各种杂音、沉闷、机械感等等。目前常见的声码器都是对声音信号本身作各种理论模型以及简化假设,可以说对细节的描述近似于忽略。
注:DeepMind的WaveNet,基本解决了声码器的问题。因为他们直接对语音样本进行预测,不依赖任何发音理论模型。最后出来的音质细节十分丰富,基本达到了与原始语音类似的音质水准(所谓质量提高了50%,就是这里),而且几乎可以对任意声音建模(这就太牛了)。

4、TTS的评判标准
1)主观测试(自然度),以MOS为主
A)MOS(Mean Opinion Scores),专家级评测(主观);1-5分,5分较好。
注:微软小冰公开宣传是4.3分,但有业内朋友认为,也不能据此就说其“”比科大讯飞好,因为每次评审的专家人选都不一样。说白了,目前整个AI行业内,还是各家说自己好的节奏。

B)ABX,普通用户评测(主观)。让用户来试听两个TTS系统,进行对比,看哪个好。

C)每次主观测评应该有区分。比如这次着重听多音字,下次主要听语气词等。

2)客观测试
A)对合成系统产生的声学参数进行评估,一般是计算欧式距离等(RMSE,LSD)。

B)对合成系统工程上的测试:实时率(合成耗时/语音时长)、首包响应时间(用户发出请求到用户感知到的第一包到达时间)、内存占用、CPU占用、3*24小时crash率等。

二、技术边界
1、通用TTS
1)在用户预期不苛刻的场景(APP/硬件),能满足商业化需求,比如语音助手/滴滴/高德/智能音箱/机器人);但如果用户预期非常高的话,是很难满足的,因为还是会有“机器感/机械感”,不能非常自然的模拟人声。

2)目前行业各家公司的产品效果差不多,都基本能商用。

2、个性化TTS
1)在用户预期不苛刻的场景,能“基本”满足商业化需求,但是效果没通用TTS那么好。但如果用户预期非常高的话,暂时是满足不了的。

2)目前行业内能成熟商用的,主要还是科大讯飞,也有些创业公司在这个领域有所布局,如微量分贝(HEARD)这家致力于海量内容音频化的企业,对声音进行了分门别类的生成和储备,他们瞄准的企业级需求也会更为个性化、品牌化,诸如阿里巴巴旗下的“动物园”品牌(如天猫、闲鱼、盒马、菜鸟等),都会生成诸如“小猪佩奇”这样的角色化TTS 并被商用。

3、情感TTS
1)目前业界的情感合成更多了,是因为数据本身变多了、更有节奏了,超过了传统的播音风格,但并不是真正的“喜怒哀乐”等情感合成(想高兴就高兴的这种智能)。

2)在情感TTS的理论方面,学术界是有储备的,但是,整个行业目前都没怎么做(或者没做好),是因为情感TTS很依赖“情感意图识别”,“情感特征挖掘”、“情感数据”以及“情感声学技术”等,是个系统工程。其中第1点,即是和自然语言处理相关,比如需要知道“什么时侯该高兴或悲伤”;同时,具有情感演绎的语音数据的储备,也非常重要。

三、瓶颈和机会
主要有5个方向的瓶颈(同时也是机会)。

1、基础技术
1)TTS技术正处于重大变革:端到端(End-to-End)的TTS建模方法,加上WaveNet 的声码器思想,是未来TTS的发展方向。
端到端TTS,一般指tacotron,tacotron只是Google提出的合并了原先时长模型和声学模型的中段结构,可以接任何TTS前端和TTS后端。TTS前端如中文分词、注音、词性,都会提升tacotron性能;后端,参数、拼接、wavenet都可以选用。

关于WaveNet技术的商业化:Google今年初将第二代WaveNet技术商业化了,速度比第一代快一万倍。而国内各家公司,基本也仿制出来了(论文算法),但工程化还需要时间,而且成本还是太高,短期内应该没法商用。

关于效果:TTS最终效果好坏,技术只占50%不到,在技术都差不多的情况下,声优质量和数据量最重要,其次是相同部署规模和成本的TTS才能相互比较,即,不能简单的说哪家公司的效果比另一家更好,a)比如,拿蚂蚁软件一代语音合成系统WaveNet?》http://t.cn/RFnPUkA
《TTS(Text-To-Speech)的原理是什么?》http://t.cn/RFnPfP1

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2019-8-7 01:30 , Processed in 0.109186 second(s), 23 queries .

江苏快3开奖结果 甘肃快三开奖结果 江苏快3开奖结果 河北快三开奖结果 江苏快三开奖结果 北京快三开奖结果 河北快三开奖结果 上海快3开奖结果 江苏快三开奖结果 江苏快3开奖结果