什么是全双工自然对话？

如果孙悟空的金箍棒加入天猫精灵语音交互的支持，那么孙悟空在获得金箍棒后会怎样给他的猴儿们演示呢？

在一问一答方式中，孙悟空首先需要唤醒金箍棒，然后再发出大一些的指令，金箍棒在收到指令后会变粗变高并回复已经变大。如果孙悟空要想让金箍棒再大一些，需要再次唤醒金箍棒并发出指令。每次想让金箍棒大一些，孙悟空就要重复这个过程。

在连续对话方式中，孙悟空也要先唤醒金箍棒，然后在发出大一些的指令，金箍棒也会在收到指令后会变粗变高并回复已经变大。如果孙悟空要想金箍棒再大一些，可以选择等待金箍棒的回复结束，然后直接说出大一些的指令。接下来每次想让金箍棒大一些，孙悟空只需要等待金箍棒回复结束，然后直接说出大一些的指令即可。

在自然对话模式中，孙悟空先唤醒金箍棒，然后发出大一些的指令，金箍棒在收到指令后会直接变粗变高。接下来，如果孙悟空想金箍棒在大一些，直接说出大一些指令即可，不需要再次唤醒，也不需要等待回复结束。

天猫精灵有孙悟空演示金箍棒的场景吗？答案是肯定的，例如音量控制就非常相似。那么天猫精灵的全双工自然对话是怎么实现的呢？

技术方案

设备端：负责听和说。主要解决什么时候听，有没有听到语音，听到的语音有多长；什么时候说，以及说什么。

语音识别：即 ASR，将用户的语音识别成文本，并提取声音的特征。

语义理解：即 NLU，负责理解用户说了什么并转换成机器可读的信息。

语音合成：即 TTS，负责将文本转换成语音。

对话管理：即 DM，根据语义理解的结果和会话的上下文信息调用各种服务完成用户的请求。

人机交互识别：根据 ASR 输出的声学特征判断收到语音是不是用户和音箱说的话。

设备端交互管理

用户打开自然对话后，服务端在对用户进行应答的同时会下发自然对话收音指令到设备端。

设备端收到自然对话收音指令后，进入自然对话状态并开始收音。

在自然对话状态下，设备端检测到用户说话时开始发起自然对话交互请求；检测到用户说话结束时结束请求，并上报自然对话状态的持续时长和用户的说话时长到服务端。

设备端收到服务端应答，但是应答中不包含自然对话收音指令时，如果当前处于自然对话状态则退出自然对话。

自然对话收音指令中包含收音的持续时长，如果在这个时长内没有检测到声音也会退出自然对话。

设备端播放管理

在用户交互过程中，需要根据用户的意图决定被打断的播放动作是否需要继续。比如，用户在播放音乐时说“收藏这首歌”，那么在执行用户指令后需要继续恢复播放音乐；而用户在收听天气时问了算术，那么在执行用户的指令后不需要继续播放天气。

所以我们把音箱播放的类型分成 3 类，即需要恢复的播放、不需要恢复的播放以及提示音，并根据当前的播放类型和即将播放的类型来确定是否保存播放状态。

持续时长

用户不会一直和音箱交互，持续的收音和处理会极大的增加云端的处理负担，也没有必要，因此我们需要对自然对话的持续时长进行限制。但是用户和用户交互的时长又不是确定的，因此我们采取了滑窗的计时方式，即每一次用户交互后，我们都会重新计时，等待用户进行交互。

人机交互识别

在自然对话持续的过程中，用户可能在与其它人聊天，我们需要识别出来，并且做到用户无感知。在实际实践过程中，我们以语音识别时提取的声学特征为输入，通过深度学习算法来判断用户是否在与与音箱进行交互。如果发现请求不是用户和精灵的交互，精灵不会做出响应。

会话流

在自然对话持续的过程中，语义理解服务会记住会话的历史，并结合历史来处理用户的请求，通过这种方式，用户的多次连续交互就可以形成一个会话流，与用户的交互也更加自然。例如，用户询问今天说“今天天气怎么样”，精灵会回复今天的天气，如果用户再询问明天的天气，那么用户不用说“明天天气怎么样”，而只需要说“明天呢”。

总结

全双工自然对话是一个系统的工程，涉及到从设备端的前端信号处理、设备端语音交互管理、到云端网关、语音识别、语义理解等整个语音交互链路，涉及到部门多个团队的协作，项目的顺利推进离不开各个团队的通力协作，充分体现了“因为信任所以简单”和“此时此刻非我莫属”的价值观。

全双工自然对话上线后受到了用户的广泛好评，自然对话的用户只要使用精灵，几乎都会使用这个功能来与天猫精灵交互，而这部分用户的活跃度也比其它用户更高。

当然，在提升用户交互体验的道路上，全双工自然对话不是终点，还有很多可以提升的地方，我们会继续努力，为用户提供更好的交互体验。

感谢

衷心感谢参与项目的所有同学，有些同学甚至为此取消了国庆假期的安排。在大家的共同努力下，短短一个多月时间内就完成了全链路方案的实现和落地，让用户可以更早的体验到精灵的黑科技。