【重磅开幕】SMP2018之第二届中文人机对话技术评测（ECDT）

2024-11-11 10:35:28

导读评测主页及详细的评测方案，请参见SMP 2018大会主页。“第七届全国社会媒体处置大会（The Seventh China National Conference on Social Media Processing）”将于2018年8月2日—4日在哈尔滨召开。全国社会媒体处置大会专注于以社会媒体处置为主题的迷信研讨与工程开发，为传达社会媒体处置最新的学术研讨与技术效果提供普遍的交流平台，旨在构建

评测主页及详细的评测方案，请参见 SMP 2018大会主页。

“第七届全国社会媒体处置大会（The Seventh China National Conference on Social Media Processing）”将于2018年8月2日—4日在哈尔滨召开。

全国社会媒体处置大会专注于以社会媒体处置为主题的迷信研讨与工程开发，为传达社会媒体处置最新的学术研讨与技术效果提供普遍的交流平台，旨在构建社会媒体处置范畴的产学研生态圈，成为中国乃至世界社会媒体处置的风向标，会议将以社交网络的方式改动传统的学术会议交流体验。

全国社会媒体处置大会每年举行一次，现已成为社会媒体处置的重要学术活动。第七届全国社会媒体处置大会（SMP 2018）由中国中文信息学会社会媒体处置专委会主办，哈尔滨工业大学社会计算与信息检索研讨中心承办。

本届SMP会议方案举行第二届中文人机对话技术评测（ECDT）。近年来，人机对话技术遭到了学术界和产业界的普遍关注。学术上，人机对话是人机交互最自然的方式之一，其开展影响及推进着语音辨认与分解、自然言语了解、对话管理以及自然言语生成等研讨的停顿；产业上，众多产业界巨头相继推出了人机对话技术相关产品，如团体事务助理、虚拟情感陪护机器人、文娱型聊天机器人等等，并将人机对话技术作为其公司的重点研发方向。以上极大地推进了人机对话技术在学术界和产业界的开展。

本届中文人机对话技术评测由中国中文信息学会社会媒体处置专委会主办，哈尔滨工业大学、科大讯飞股份无限公司承办，讯飞公司提供数据，华为公司提供奖金。旨在促进中文人机对话零碎相关研讨的开展，为人机对话技术相关的学术研讨人员和产业界从业人员提供一个良好的沟通平台。在此，评测会务组诚邀各个单位参与本次人机对话技术评测活动！

评测内容

评测义务概述

本届人机对话技术评测次要包括两个义务，参赛者可以选择参与恣意一个义务或全部义务。

义务1：用户意图范畴分类

在人机对话零碎的使用进程中，用户能够会有多种意图，相应地会触发人机对话零碎中的多个范畴（domain），其中包括义务型垂直范畴（如查询机票、酒店、公交车等）、知识型问答以及闲谈等。因此，人机对话零碎的一个关键义务就是正确地将用户的输出分类到相应的范畴（domain）中，从而前往正确的回复后果。

【用户意图范畴分类示例】

1）你好啊，很快乐见到你！ — 闲谈类

2）我想订一张去北京的机票。 — 义务型垂类（订机票）

3）我想找一家五道口左近廉价洁净的快捷酒店 — 义务型垂类（订酒店）

【评测阐明】

评测义务1包括闲谈和垂类两大类，其中垂类又细分为30个垂直范畴。本次评测义务1中，仅思索针对单轮对话用户意图的范畴分类，多轮对话全体意图的范畴分类不在此次评测范围之内。

【评测方式】

开放式评测：

参赛者可以开放地获取除主办方提供的数据之外的训练及开发数据。评测时，主办方给定测试集，并运转参赛零碎，在测试集下面得出评测后果。

【评价目标】

精确率（P）、召回率（R）及F值。

义务2：特定域义务型人机对话在线评测

针对特定域的义务型人机对话零碎，人工实时在线对话交互及评价可以反映零碎关于用户意图呼应的功能以及用户真实的称心度。因而，本次评测义务2为面向特定范畴的义务型人机对话在线评测。

【评测阐明】

本次评测义务2的特定范畴包括：机票类、火车票类、酒店类3个垂直范畴，零碎经过与测试人员实时在线对话完成相应的预定或查询义务，满足测试人员的需求。

【注】针对2018年ECDT义务二参评单位的评测状况，给出以下建议：

1.仔细思索一句意图存在延续的若干意图，如"帮我预定一张从北京动身到重庆的4月18号的机票，再预定重庆到成都的火车票一张，再预定成都的向日葵酒店公寓一晚。"此类意图在评分进程中占有更大的分数比例。

2.仔细思索资源库外的属性、属性值的断定状况，例如，假定资源库中没有的属性WI-FI，但测试人员讯问"有没有wifi提供？"；假定资源库只掩盖将来10天的机票信息，但测试人员订一个月当前的票。

3.测试人员在测试进程中，会依据"好的，曾经帮您预订XXX"等相似的字样判别对话完毕，故建议一切参赛者在搜索前往最终后果时，都要加上分明的标示完毕、跳转的语句，协助测试人员作出明白的判别。

【特定域义务型人机对话示例】 ：其中U表示用户，R表示对话零碎。

义务型对话示例1：

用户完好意图：预定下周四（2018年4月12日）从北京去上海的上午或许半夜动身，价钱低于8折的廉价机票。

U：下周从北京去上海

R：请问您需求订票吗？

U：恩，是的

R：请问您要下周哪天动身呢？

U：周四吧

R：帮您预订2018年04月12日从北京到上海的机票，请问有餐饮，价钱等其他的要求吗？

U：尽量订上午的吧，价钱找廉价一点的

R：帮您查询了2018年04月12日从北京到上海的机票，没有上午动身的航班，半夜12：10动身能否可以？7.3折，910元

U：也行，就订这个吧

R：行将帮您预订2018年04月12日从北京到上海的机票，北方航空，CZ6412 空客321（中），12：10：00动身，7.3折，910元，不可退改签，确定要订票吗？

U：是的

R：曾经帮您预订该航班机票，将跳转至付款页面

义务型对话示例2：

用户完好意图：预定今天（2018年4月10日），丽江古城区左近的一家酒店，价钱不超越200元每晚。

U：我想预定丽江古城区左近的酒店

R：请问您想哪天入住呢？

U：今天吧

R：请问您对价钱有要求吗？

U：别太贵，每晚200元以下吧

R：2018年04月10日入住，丽江古城区左近，价钱200元以下的酒店，为您找到以下后果（与用户意图最相关的5个酒店后果），请问您想预定哪一个？

U：就这个丽江古城联强酒店吧

R：好的，曾经帮您预订丽江古城联强酒店，2018年04月10日入住。

义务型对话示例3：

用户完好意图：查询今天（2018年4月10日）从哈尔滨到北京的晚间软卧火车票信息，上下铺均可。

U：到北京的软卧火车票还有吗？

R：请问您要从哪里动身？

U：哈尔滨

R：您要定哪天的呢？

U：今天吧

R：请问您对发车工夫有要求吗？

U：早晨的，正好能睡一觉

R：请问您要上铺还是下铺呢？

U：都行

R：您要查询的2018年04月10日晚间动身从哈尔滨到北京的软卧火车票信息如下（与用户意图最相关的5个火车票查询后果）

义务型对话示例4：

用户完好意图：预定2018年4月10日从哈尔滨到北京的上午的航班或火车，价钱低于500元，同时预定2018年4月10日五道口左近300-400元的快捷酒店一晚。

U：查一下今天从哈尔滨到北京的机票

R：请问您要什么舱位？

U：经济舱

R：您要上午，下午，早晨哪个工夫段动身？

U：上午吧

R：有一个上午6：25动身的北方航空CZ6421的航班，5.8折，不含税价720，请问您要预订此航班机票吗？

U：有点贵啊，不订机票了，看看火车票吧

R：2018年4月10日从哈尔滨到北京，上午的火车车次信息如下（与用户意图最相关的5条火车车次信息），请问您要预定哪一个车次？几等座？

U：D26，二等座吧

R：行将帮您预定2018年4月10日从哈尔滨到北京，D26次列车二等座。

U: 好的，再帮我找找北京五道口左近的快捷酒店吧

R：请问您哪天入住？住几晚？

U：今天入住，一晚。

R：请问您对房间价钱有要求吗？

U：别超越400元一晚

R：以下是2018年4月10日入住，五道口左近的快捷酒店信息（与用户意图最相关的5个快捷酒店信息），请问您想预定哪一个？

U：第一个吧

R：行将预定2018年4月10日入住一晚，五道口左近，汉庭酒店（清华东门店）规范间一间，每晚377元，请问您确认要预定吗？

U：确认

R：曾经帮您预订该酒店，将跳转至付款页面

【评测方式】

义务2采用人工评价的方式，关于每个参赛零碎，主办方提供应测试人员完好的用户意图描绘，关于恣意相反的用户意图描绘，对不同的参赛零碎均给定相反的首轮对话输出，启动在线评测，评测进程中评测员依据给定的完好意图描绘与参赛零碎停止交互，直至对话完毕。对话完毕的条件为零碎前往一切义务（单义务或多义务）的执行后果（出于对模仿终端设备显示区域大小限制的思索，单义务的多条后果只显示相关性最高的前5条），或超越50个对话轮数之后仍未前往测试员所需的后果，测试员手动完毕对话测试。

【数据】

1）完好的用户意图描绘示例

2） Json格式的静态航班、酒店、火车票数据资源

【评价目标】

1）义务完成率

2）用户称心度

3）回复言语的自然度

4）对话轮数

5）静态的数据库资源未掩盖状况的引导才能

举例来说，假如以后只支持查询十日航班，那么当查到十日之外信息时，能否能敌对引导。

【注】：除"对话轮数"之外，以上目标均由人工给出评分。

奖项设置

本次评测关于上述两个义务辨别竞赛及排名，并依据每个义务的最终评测后果辨别取前三名停止奖励，总奖励金额5万元人民币。

义务1： 第一名8000元，第二名5000元，第三名4000元。

义务2： 第一名15000元，第二名10000元，第三名8000元。

【注】由SMP2018主办方中国中文信息学会社会媒体处置专业委员会（CIPS-SMP）为参评队伍提供 成果证书认证 。

重要工夫点

以下一切工夫点为北京工夫（GMT+8）11:59 PM。

（除报名工夫以外，其他工夫点能够会有变化，请注册参与者亲密关注评测网站以及邮件告诉。）

事情	工夫
预告名	2018年4月1日-4月10日
正式报名	2018年4月11日-4月30日
发布训练及开发集	2018年5月1日
零碎搭建及调整	2018年5月2日-7月12日
义务1零碎提交及测试	2018年7月13日
义务2在线测试及后果评价	2018年7月14日-7月16日
技术报告撰写	2018年7月17日-7月31日
SMP2018大会时期召开ECDT研讨会及颁奖仪式	2018年8月2日-8月4日