雷锋网 (大众号：雷锋网) AI 科技评论按：谷歌昨晚在加州召开了 2018 年度的开发者大会（Google I/O 2018）。在大会引见的 Android P、Gmail、Gboard、TPUv3 等众多新产品和功用中，尤为亮眼的无疑是团体助理 Google Assistant 中新添加的 Duplex，它可以 本人给饭馆、发廊等商业店面打电话，帮用户预定工夫 。
详细效果可以先看看 I/O 大会现场的演示视频：
在这两则真实电话录音中，Duplex 不只用自然流利的语音和电话另一头的人类完成了交流，对方基本没无意识到打电话来的竟然是个「AI」，而且第二则录音中它还成功地处置了预料之外的开展情况，不只了解了「无需预定」，还自动讯问了等位的工夫。依据谷歌 CEO Sundar Pichai 引见，他们将来还方案进一步拓展 Duplex 的讯问营业工夫的才能，有一个用户的 Google Assistant 打电话讯问了某家店面的营业工夫，就可以把这个讯问后果同步给更多别的用户，不只节省了用户/消费者本人查询的工夫，也为店家节省了工夫。实践上，这也是谷歌对 Google Assistant 的设计主旨： 为用户节省工夫，为用户把事情搞定（get things done） 。
谷歌也同步在 Google AI 博客上更新了 Duplex 的技术细节，雷锋网 AI 科技评论编译如下。
Google Duplex：能打电话完成真实世界义务的 AI 零碎
临时以来，人类和计算机之间交互的目的都是希望两者之间可以停止自然的对话，就像两团体之间讲话那样。近几年来，计算机了解和生成自然语音的才能呈现了反动性的进步，谷歌语音搜索、WaveNet 之类基于深度神经网络对于互联网金融P2P企业来说，支付市场完善的标准和管理系统将彻底改变互联网金融行业的格局，不仅给从业者提供了的巨大的发展机遇，也带来了全新的挑战。的技术功不可没。
即使如此，以后最先进的人机对话零碎依然只要僵硬的电子声响，而且也不了解人类的自然言语。详细来说，自动呼叫零碎即使只是辨认复杂的单词和控制指令都不令人称心，更不必说跟人停止自然的对话了。打电话的人需求调整本人的说法方式来顺应零碎，零碎却没方法顺应打电话的人。
而明天发布的 Google Duplex 就包括了新的技术，它可以打电话给人类，经过自然的对话完成一系列真实世界的义务。这项技术目前针对的是执行一些特定的义务，比方为某几类活动商定工夫。在这些义务中，Duplex 能让对话进程尽能够地自然，电话另一头的人类可以像和另一团体说话一样自然地交流，无需做任何调整（实践上对方能够基本就没有发现这通电话不是人类打来的）。
在这项技术的研讨中，一个重要的研讨要点是把 Duplex 的功用限制在封锁的场景中，这些场景涵盖的内容足够少，以致于 AI 零碎可以充沛地探究学习。绝对应地，Duplex 经过这些场景的深化训练后，也就只能执行这些场景内的自然对话义务，还不能和人停止普通的对话。
不过，依据扫尾的视频我们曾经感遭到了，在这些义务中 Duplex 带来了令人惊喜的表现，对话进程对人类来说十分温馨。
如何展开自然对话
展开一段自然的对话有这么几个难点： 自然言语难以了解，人类的自然行为很难建模，人类对延迟的耐受性很低所以需求高处置速度，以及生成听起来自然的语音，其中还要适外地夹杂一些语气词 。
当人类和人类之间对话的时分，相比于与计算机对话，他们会运用更多的复杂句子。他们常常一个句子说到一半然后更正一局部表述，会啰啰嗦嗦的，会依赖上下文然后省略一些单词，还有时分会在一个句子里表达好多个意思。比方：「星期二到星期四我们从上午 11 点开门到下午 2 点，然后下午 4 点到 9 点重新开门，然后星期五六日我们，哦不对，星期五星期六我们 11 点开门到 9 点，星期天 1 点到 9 点。」
在自然的、自发的对话中，相比与计算机讲话，人类会讲得更快、讲得更不明晰一些，这时分的语音辨认也更难，单词错误率更高。在打电话的时分这个成绩会更分明，常常会遇到背景乐音，通话质量也不好。
在较长的对话中，依据上下文的不同，异样的句子也可以有不同的含义。比方，呼吁行业者在政府部门出台相关政策标准的之前，从业者一定要规范自己的行为准则健康有序的快速发展。「ok for 4」在预订座位的时分就有能够指人的数目，也有能够指工夫。相关的上下文句子能够会在好几个句子之前，而遭到电话中单词错误率的影响，这个成绩又会变得愈发难解。
辨认了对方的语义之后，AI 零碎要说的内容就是由以后要执行的义务和对话停止的情况共同决议的。除此之外，自然言语的对话中还有一些罕见的言语习气；这些商定俗成的句法形式包括：反复时说得更详细一些（-「工夫是下周五。」-「什么时分？」-「下周五，18 号。」），同步语句（「你听得清吗」），打断（-「数字是 212…」-「对不起你能重新说一遍吗」），以及进展（「你可以稍等一下吗 [进展] 谢谢！」，1 秒的进展和 2 分钟的进展又有不同的含义）。
看法 Duplex
借助言语了解、交互、工夫控制、语音生成方面的最近技术开展，Google Duplex 的对话听起来相当真实自然。
为了处置下面提到的应战，Duplex 的中心是一个 RNN 网络，它是由 TensorFlow Extended（RFX）构建的。为了到达高精度，谷歌用匿名的电话对话数据训练了 Duplex 的 RNN 网络。这个网络会运用谷歌自动语音辨认（ASR）的辨认后果文本，同时也会运用音频中的特征、对话历史、对话参数（比方要预订的效劳，以后工夫）等等。谷歌为每一种不同的义务辨别训练了不同的了解模型，不过不同义务间也有一些训练语料是共享的。最初，谷歌还应用 TFX 的超参数优化进一步改良了模型。
输出语音先经过自动语音辨认零碎（ASR）处置，生成的文本会与上下文数据以及其它输出一同输出 RNN 网络，生成的应对文本再经过文本转语音（TTS）零碎读出来。
生成自然的语音
谷歌结合运用了一个级联 TTS 引擎和一个生成式 TTS 引擎（其中运用了 Tacotron 和 WaveNet），依据不同的情境控制语音的语调。
这个零碎还可以生成一些语气词（比方“hmmm”、“uh”），这也让语音变得更自然。当级联 TTS 需求组合变化很大的语音单元，或许需求添加生成的进展时，语气词就会被添加到生成的语音中，这就让这个零碎可以以一种自然的方式向对方表示“是的我听着呢”或许“我还在思索”（人类说话的时分就常常在考虑的同时收回一些语气词）。谷歌的用户调查也确认了人类觉得带有语气词的对话更熟习、更自然。
另一方面， 零碎的延迟 也要可以契合人类的等待。比方，当一团体在电话里讲了“你好”这样的复杂句子之后，他们会希望很快听到一个冗长的回复，这种时分会对延迟愈加敏感一些。当 AI 零碎检测到了需求短延迟的情境时，就会运用更快但精度也更低的模型来处置。在某些极端状况下，零碎甚至都不会等候 RNN 运转，而是直接运用疾速迫近模型（通常也会和更慢的正式回应搭配起来运用，就像人类不完全了解另一方的时分会犹疑一样）。这样的做法就可以让零碎到达 100ms 之内的极短延迟。风趣的是，谷歌发如今某些状况下要 添加一些延迟 来让对话听起来更自然，比方回复一个很复杂的句子的时分。
零碎运转
Google Duplex 零碎可以停止复杂的对话，它可以 完全自动地完成大少数义务，不需求任何人类参与 。零碎也有一个自动监控机制，不只成功完成一个义务后可以给用户弹出提示，也可以辨认出没能成功完成的义务（比方处置某个异常复杂的预订）。在这种状况下，它会给一团体类操作员收回指令，转交给人类完成义务。
为了在训练零碎处置新的情境，谷歌也运用了实时监视训练。这种训练方式和许多事情的教学办法相似，都有一个教学者指点一个先生，边做边提供必要的指点，确保义务的执行效果到达了教学者的质量要求程度。在 Duplex 零碎中，有经历的人类操作员就可以作为这样的教学者，当零碎打电话处置新的、不熟习的情境时，人类操作员就可以实时影响零碎的行为。这样的边做边学的进程可以不断继续到零碎到达了理想的表现为止，然后零碎就可以全自动地打电话了。
无益于用户，也无益于商家
许多商户并没有本人的在线预定零碎，依然运用的是在线预定。Duplex 就可以协助他们，无需改动每日的行为常规或许培训员工，就可以让用户经过 Google Assistant 轻松完成预定。Duplex 也可以增加用户放鸽子的状况，可以在手机上自动提示用户预订事项，以及协助用户轻松地取消或许重新布置工夫。
也有一些状况下，用户会打电话向商户讯问营业工夫，比方节假日时期的营业工夫，普通在店铺的在线信息页面是看不到的。Duplex 打电话讯问之后可以经过谷歌效劳把这个信息地下出去，省去了其它用户打同一个电话、问异样的成绩的精神，也帮商户节省了人力。同时，商户本人就像往常一样正常营业就行，这项新技术并不需求他们学习任何技艺或许做任何改动就可以享用到便当。
对用户来说，Google Duplex 当然可以协助用户轻松地完成它支持的各种义务。用户只需求和 Google Assistant 做复杂的互动，Duplex 就会自动在后台打电话，并且自动补全所需的用户信息。
用户让 Google Assistant 做个预定，Google Assistant 接上去就会经过 Duplex 打电话与商户完成预定
Duplex 还能给用户添加一项便当，那就是可以非同步地作为效劳提供商的代理，比方在非营业工夫给商户打电话，或许手机信号不好的时分，Duplex 在这种状况下就成为了一条额定的信息获取途径。它也可以协助残障人士或许言语不通的用户，替听力受损的用户打电话完成预定，或许替用户用另一种言语完成义务。
往年夏天，谷歌就会开端基于 Google Assistant 测试 Duplex，就从预订餐馆、预订发廊、讯问节假日的营业工夫这样的事项开端。
Google Duplex 团队担任人 Yaniv Leviathan 和 项目工程主管 Matan Kalma 在餐厅吃饭，这顿饭就是 Duplex 打电话为他们预订的。
不断以来，让人们可以「像人与人互动一样自然地与科技互动」都是谷歌的目的。Google Duplex 就是迈向这个方向的一步，在特定场景下以自然的对话让人和科技互动。谷歌希望这些详细技术的开展也可以为人类和计算机的日常互动带来更有有意义的改良。
via GoogleBlog ，雷锋网 AI 科技评论编译
相关文章：
你能够还不晓得，WaveNet 为了进驻 Google Assistant 做出了这些严重变化
Deepmind语音生成模型WaveNet正式商用：效率进步1000倍
雷锋网版权文章，未经受权制止转载。概况见。
