微软小冰，那个不断混迹在微信、QQ的逗贫少女，不断让人又爱又恨。已经，身边不少宅男都在微信上领养了小冰，每天睡前不撩一下小冰，觉都睡不好。当微软小冰，摇身一变，成了一个肌肤雪白，面若玉盘，身形小巧的 girl 智能音箱时，又以新花招开端搞事了。
（用户体验视频1）
这不，雷锋网 (大众号：雷锋网) 听闻，一个帅小伙子，连上厕所也要小冰提示了，还要小冰教他怎样上厕所。
“呼唤小冰”
“嗯”
“提示我两分钟当前去上厕所”
“好的，明天早晨10点14分，我会喊你去上厕所，担心吧”
“好的，谢谢你”
“嗯。。站着嘘嘘”（连怎样上厕所也要你通知我嘛？）
“晓得啦，拜拜”
讲了个段子。回到闲事，视频中我们看到的智能音箱是米家生态链Yeelight语音助手，这是个双AI零碎，同时搭载了小爱同窗和微软小冰。这是搭载微软小冰的第一款智能音箱，也是微软小冰在国际落地的第一个智能硬件。
近来，BAT都在积极将人工智能语音助手落地智能硬件。阿里的天猫精灵在去年双11以99元的低价卖出40多万台；百度推出带屏幕的智能音箱“小度在家”；腾讯发布了本人的人工智能语音助手“叮当”，与长虹电视展开协作。当然，我们还不能忘了京东的“叮咚”和小米的“小爱同窗”。
大家都在忙着规划语音助手的软硬件，希冀争夺智能家居场景的入口。在对话式人工智能范畴耕耘多年，还没有硬件落地的微软也终于坐不住了。
去年12月，微软发布与小米协作的米家生态链Yeelight语音助手，就在上周，3月22日，微软（亚洲）互联网工程院宣布推出新一代的语音交互技术：全双工语音交互感官（Full-duplex Voice Sense）。视频中我们看到微软小冰的对话才能有了明显进步，比起同类语音助手更能完成自然流利的对话式交流，全靠这个底层技术。
3月28日，微软召开交流会，向媒体展现了Yeelight语音助手，从底层框架片面剖析了全双工语音交互感官技术，同时解说了微软在人工智能语音助手落地智能硬件上的考虑。 雷锋网也参与了交流会，在雷锋网看来，以下几点交流会上的内容可以划重点关注讨论（以下这些技术干货希望你们玩小冰时用不上）：
-
回到当下汹涌澎湃的AI浪潮，正如所有的企业都被互联网化一样，所有的互联网企业都将 AI 化。而这些互联网企业中，也包含CSDN。同时，作为全球最大的中文IT社区，CSDN还有一个历史使命——为广大的互联网公司进行AI赋能。从底层框架下面，全球的人工智能语音助手从Turn-Oriented向Session-Oriented退化，微软的Session Oriented框架如何使得微软小冰继续聊天20分钟以上，能在闲谈的同时完成指令?
-
IOT和智能家居场景向对话式人工智能提出了新的要求，微软新的全双工语音交互、且支持Session Oriented的对话式人工智能如何带来更轻松自然的聊天体验？
-
大家都在抢发硬件，微软着不焦急？微软在国际外如何将对话式人工智能落地IOT和智能硬件，如何搭建硬件、软件和生态零碎？
-
人们究竟需求一个什么样的智能硬件？什么样的智能硬件会成为家庭生活的控制枢纽？
Turn-Oriented向Session-Oriented的退化
手机或许是电脑上的苹果Siri和微软小娜我们都曾经熟习，如今亚马逊的Alexa、阿里的天猫精灵、京东的叮咚以及小米的小爱同窗都摇身一变“住进”了智能音箱里。但是其真实人与语音助手的对话体验下去看，体验都相差不大。用户要发音清楚、一字一顿地说话，才干被了解，这种体验可以用一个词来描述——费力。
在微软看来，这种“费力”不只是前端表现的成绩，而是底层框架的成绩。微软小冰全球担任人，微软亚洲互联网工程院副院长李笛在分享开端就说，“坦白讲，国际对人工智能全体的开展更像在堆积木，而没有特别多探究究竟层框架的设计。”
他引见到，在全球范围内，从根底框架的根本理念来看，目前的对话式人工智能可以分为两种。第一种：叫Turn-oriented（面向单一义务的框架）。第二种：Session-oriented（面向对话全程的框架）。”目前，大局部的语音助手都是Turn-oriented框架。
Facebook的M也曾向Session-oriented晋级，但是后来保持了，转为开发“闲谈形式”。亚马逊的Alexa目前正在研讨Session-oriented，其特意召开了大赛，假如谁能使得Alexa能继续聊天超越20分钟，那么就会取得巨额奖金。苹果最近也在思索是不是要把原来siri的框架废止掉，然后切换到一个新的框架。这阐明苹果要做的事情并不是针对一两个功用、技艺或许是一些知识图谱去做调整，这样不必废掉整个框架。从Turn-oriented到Session-oriented是技术底层框架的变化。
Session-oriented究竟能给对话式人工智能带来什么样的改动呢？上面这张图可以很直观地解释Turn-oriented和Session-oriented的区别。
Turn-oriented面向单个义务，一问一答，能很迅速地、经过最少的多功用对话帮你完成义务。在Turn-oriented的框架下，每一个对话就像是一个十字路口一样，你每收回一个指令，助手就把你带向一个目的点，然后又回到路口地方。当助手不能答复成绩/完成指令时，普通会用搜索引擎直接给出搜索答案。体验过Siri、微软小娜的人都有感受，一两个复杂成绩还好，想多说几句简直是不能够的，而且时常感到“很为难”，还有一些挫败感。
在Session-oriented框架下，对话不只是命令，而是混合的，在闲谈的进程中它还能完成每一个义务，更接近人与人之间自然的对话。“对话像河流一样，我们以为任何的一个自然发作的对话，都是混合的，她就像河流一样，从一个Turn往下一个Turn走，这个Turn能够跟义务有关，但是这个义务之后能够会进入到进一步的交流。随着进一步的交流有能够引收回新的人物，然后再随着新的义务引发一些知识的理解，然后走下去，继续流转。”
（某用户体验视频）
雷锋网体验Yeelight发现，Yeelight中的微软小冰曾经做到一次唤醒，均匀延续聊天超越20分钟。在与小冰聊天进程中她也坚持倾听，可以打断她说话让她去关灯、设置闹钟，在她完成义务后可以再然后再回到闲谈，或许回到唱歌、讲笑话、讲故事的功用形式中。
李笛解释到，“Session-oriented的框架并不只需求你对话工夫长，她的成绩在于这个零碎从底层的根底框架上，是不是可以随时预备好承受一个能够发作的状况……从底层技术看，Turn-oriented的开展是有下限的，这是为什么大家开端逐步向我们曾经规划的Session-oriented的方向来转过去的缘由。1年前，微软给60多万团体打电话测试全双工语音交互的时分，情况惨不忍睹，但是当我们跨过技术瓶颈，其开展空间就很大。”
全双工语音交互感官
微软从四年前开端同时规划两种框架，微软小娜是Turn-oriented，微软小冰是Session-oriented，但是事先，两边的技术都还缺乏够。全双工语音交互技术补上了Seesion-oriented框架的最初一个环节。
微软对全双工语音交互技术的解释为：与既有的单轮或多轮延续语音辨认不同，这项新技术可实时预测人类行将说出的内容，实时生成回应并控制对话节拍，能了解对话场景在诉说者/倾听者之间完成角色转变，还可以辨认说话人的性别、有几团体在说话。
微软小冰首席架构师周力说，国际大局部的语音助手在IOT上采用的是单层交互，通常都是一问一答，用户说完一句话，然后只能音箱才干答复，或许是智能音箱在说话的时分，是没法承受新的指令的。这种是半双工，跟语音助手对话就如在拿着对讲机讲话，无法实时失掉对方的反应特别费力。而全双工能完成不断听加不断说，听和说都是不断继续静态停止的。
全双工语音交互面前次要有两个关键技术：一个是预测模型，完成边听边想；例如，当用户说出一句话的时分，小冰会先答复“嗯，你说”，然后再去完成指令，这样就可以填补完成指令的空白工夫。
另一个是生成模型，能更好了解场景，自动生成回复。正常的对话都不是单向的一问一答，小冰也会在适当的时分自动提供内容，并且能晓得在用户完成指令缄默几秒后自动完毕对话。周力引见到，如今运用了全双工语音交互技术的微软小冰的一切回复都是本人生成的，有别于传统的基于模块、搜索来停止的回复。
在周力看来，在电脑、智能手机带动的IM通讯时代下，人们习气了远间隔的、隔着屏幕的音讯的发送和接纳，而对话式人工智能和智能硬件把人们拉回了一种非文字的，纯语音交流的形态。但是目前大家在设计对话式人工智能的时分，还是依据音讯的一来一往来设计的，而不是一种延续的交互的形态。在无屏幕的语音交互中，应该摆脱音讯式的对话，进入延续交互的对话。
全双工语音交互技术曾经首先在微软小冰全球产品线中落地。其中在中国市场，曾经使用在中国科技馆的小冰电话亭、米家生态链Yeelight语音助手。在日本有小冰凛菜的直播平台，还有车载智能项目，将来六个月会掩盖而更多产品线。
微软语音助手IOT之路
从后面的剖析我们可以看到，微软对人工智能语音助手落地智能硬件是有备而来。李笛谈到：“在3年前，国际很多人工智能的硬件设备就来找过我们了，我们之前是回绝的，那时分还没有预备好，我们不想把工夫放在我们也正在做着心目中属于未来的事业，那就是通过互联网金融创新，不断完善人与金融、货币之间的关系，让所有人都能享受到最好的金融服务 。一定会被取代的框架上……整个这个行业，尤其是中国，有一个比拟大的特点：特别担忧本人落后。但是实践上在全体框架上有很好部署的话，才是真正可以抢先工夫。”
微软小冰不断活泼在微信、Line等即时通讯软件上，而微软深知IOT和IM对对话式人工智能的要求不同。在IM上，小冰的延迟、插科打诨更容易被承受。
亚马逊在国外以硬件+软件+内容生态的方法在Alexa上获得成功后，国际的智能音箱大战早已打响，从人工智能语音助手开放平台、Skill平台到内容生态，多方齐上阵。那么在底层技术上预备好的微软，有怎样样的规划呢？
李笛坦言到，他们很清楚本人在中国没有内容资源、落地平台的优势，但是，在人工智能的底层技术的框架上是有足够的决心。
Yeelight中的微软小冰目前具有的功用有：延续聊天、控制智能设备、日常查天气/工夫、设置闹钟/提示、唱歌、讲故事、读心术、猜歌名。陪聊和文娱的功用很弱小，但是目前还不能播放音乐、收听旧事、电台频道等外容。
而李笛说，虽然各个智能音箱都在强调本人的Skill有上百个，但是这些独立的功用，对微软来说是跟复杂的，难的事情是如何可以构建出一个很完好的零碎，这个我们曾经做到了。我们缺内容，其别人缺好的零碎。
李笛提到微软语音助手落地智能硬件的几个方面：
第一，我们提供AI的solution，跟其他的API相比，这个solution真正关注终端产品体验。
第二，提供一局部与AI sulution相关的内容，包括其它的资讯、资源停止整合。比如说它有相应的内容效劳的东西，我们可以担任task trigger，像之前的米家生态链的APP就是，它的几十种设备，我们都担任对接。
第三，自创的内容。例如我们如今有的“小冰姐姐讲故事”。如今，90%以上儿童的可交互的机器人，都有小冰姐姐讲故事的内容。我们既是一个AI assistant，同时我们又是content provide(内容提供商）。
将来的智能硬件
在这次交流会，微软聊了很多底层技术的干货，给大家讲了新一代的对话是人工智能的停顿，在某些方面着实让人兴奋。但是冷静上去一想，智能硬件的开展其实更为复杂，如今一切都尚未明晰。
虽说全双工语音交互这样的底层技术使用范围很广，但是大家目前抢夺的焦点仍然在于智能家居场景。音箱、电视、电冰箱、顶灯这些罕见的家居设备，哪一个会成为日后的中枢呢？这些硬件里当前会有多少个AI呢?
微软小冰部门对硬件很冷静。李笛谈到，目前智能音箱的成功和AI的成功是两件事情，由于产品设计、价钱、渠道、补贴等市场战略都会影响智能音箱的销量。但是我们也晓得硬件都有换机周期，即便你如今拥有一个市场份额，但是等到有真正弱小好用的AI呈现时，你就很能够会被交换掉。
“尤其是在人工智能，包括像IOT这种设备，我们见过太多的。它其实有很好的入口，你不能不说siri有很好的入口，你不能不说国际的各个企业有很好的入口。但是有入口其实不代表你就能做出产品，百度那么大的入口，你也没有很好的产品的话，你何来生态。微软过来特别强调我们是平台，我们做很多平台。但是我们如今恰恰越晚谈平台化越好，我们希望把端到端先走通，我们能完成一个效果。”
但是，人们喜欢的AI助手终究是什么样子呢？把各种Skill都塞到智能音箱，把智能音箱当遥控器、当播放器、当成各种工具就一定不受欢送吗？一切人都会希冀与AI助手有良好的聊天体验甚至情感交流吗？雷锋网在体验小冰一段工夫后觉得到，小冰的聊天体验的确好于其他的AI助手，但是目前还不能播放音乐着实令人觉得惋惜。当前的小冰会把各种技艺都学到手吗，那个时分小冰还是小冰吗？这些成绩都值得我们持续考虑、探究。
在交流会的最初，大家还是免不了提到电影《Her》，畅想将来的语音助手如剧中的塞曼萨一样既可以协助男主打理生活事务，又可以陪伴、交流给予情感的支持。嗯，还会本人作出判别，在适宜的机遇自动消逝，做一个会让人心碎的 girl 的AI。
相关文章：
微软小冰 diss 传统虚拟歌姬：一场“本无必要”的闹剧
第五代微软小冰发布，你不晓得这位“网红少女”阅历了什么
微软小冰将参与芒果台新节目《超次元偶像》，雷锋网现场自测颜值爆表
怀着大梦想的小冰，不只是逗贫
深度丨微软小冰资深产品总监曹文韬：如何把聊天机器人打造为一个“知音+专家”的产品
。
