雷锋网 AI 研习社按，日前，Uber 官网上的一篇文章详细引见了基于 NLP 和机器学习构建的 COTA 客服零碎。应用该零碎，Uber 可以疾速高效地处理 90％ 以上的客服成绩，雷锋网 AI 研习社将原文编译整理如下：

ntenteditable="false">
rame="none" data-ori-height="622" data-ori-width="1418" />

为了打造最佳用户体验，Uber 继续优化客户支持流程，让客户支持效劳更易用，更方便。

为完成这一目的，Uber Customer Obsession 团队基于其 外部平台 ，提供 5 种不同客服渠道（使用内置客户支持、官网客户支持、本地司机网、电话客服、线下效劳网点）。这个外部平台具有客服工单功用，以便跟踪处理成绩。每天提交到这个平台上的客服工单无数十万条，遍及全球 400 多个城市。Customer Obsession 团队必需确保客服代表能尽能够精确、疾速地处理成绩。

基于此，Uber 打造了一团体工智能客服助理平台——COTA（Customer Obsession Ticket Assistant），它应用机器学习和自然言语处置（NLP）技术，协助客服代表提供更好的客户支持效劳。

在 Uber 客户支持平台上，应用 Michelangelo 平台的机器学习效劳，COTA 可以疾速高效地处理 90％ 以上的客服成绩。

上面，我们会详细引见发明 COTA 的动机，COTA 后端架构，并展现如何应用这一弱小工具进步客户称心度。

没有 COTA 之前的客户支持

当客户联络 Uber 寻求支持时，我们必需及时为他们提供最好的处理方案。

我们可以让用户在提交成绩报告时，点选成绩所属的类别，填写细节。这一进程为客服提供了很多背景信息，从而能更快处理成绩，如图 1 所示：

ntenteditable="false">
rame="none" data-ori-height="532" data-ori-width="1024" />

图 1：Uber 内置的客户支持效劳为用户提供了一个直观且易于运用的界面，先提供成绩能够的类型，然后突出显示行程的细节

Uber 内置的客户支持效劳能反映成绩的背景信息，虽然这些信息很重要，但要处理客户的成绩，单靠这些信息远远不够，特别是在一个成绩有多种工单答案的状况下。此外，同一个成绩，客户可以经过多种方式来描绘，因而成绩的处理进程更为复杂。

随着 Uber 的效劳规模不时扩展，客服必需应对不时增长的客户支持成绩，同时，成绩也变得更为多样化，包括技术毛病和费用调整等。现实上，当客服在处理客户提交的成绩时，他们首先要做的是从数千个类别中，确定成绩所属类型，这绝非易事！

延长辨认成绩类型的工夫十分重要，它能增加客服处理用户成绩的总工夫。

确定成绩类型后，下一步就是给出正确的处理方案，每品种型的工单都有不同协议和处理办法。此外，还要从不计其数个能够的处理方案中停止选择，这也是一个耗时的进程。

COTA：客户工单助手

基于后面的背景，我们设计 COTA 来协助客服进步处理成绩的速度和精确性，从而改善客户体验。

COTA 应用 Michelangelo 平台来简化、减速和规范化客服工单流程。目前，COTA 由一组向客服引荐处理方案的模型组成，只支持英文工单，我们正试图树立可以处置西班牙语和葡萄牙语客服工单的模型。

基于我们的支持平台，依据客服工单内容和行程上下文信息，Michelangelo 模型提供三种最能够的成绩类型及其处理方案，处置流程如下：

rame="none" data-ori-height="646" data-ori-width="1024" />

图 2：COTA 零碎架构由七步任务流程组成

如图 2 所示，COTA 零碎包括如下 7 步：

1. 客服工单进入客户支持平台（CSP），后端效劳零碎采集工单的相关特征；

2. 后端效劳零碎将这些特征发送到 Michelangelo 机器学习模型；

3. 模型预测每个能够的处理方案的得分；

4. 后端效劳零碎接纳预测方案和分数，并将其保管到 Schemaless 数据库中；

5. 客服翻开客服工单后，前端效劳零碎将触发后端效劳零碎，以反省客服工单内容能否有更新。假如没有更新，后端效劳零碎将检索保管于数据库中的处理方案；假如工单有更新，它将抓取更新后的特征，并再次执行步骤 2-4。

6. 后端效劳零碎将处理方案按分数上下陈列，然后前往至前端效劳零碎；

7. 将排名前三的处理方案引荐给客服；至此，客服只需做出选择，就可以处理工单。

COTA 的表现十分优秀：依据客户效劳调查后果显示，COTA 可以将工单处理工夫延长 10％以上，同时还可以到达之前用人工处置的客户称心度，甚至比之后人工处置的称心度更高。

COTA 中的机器学习模型为客服提供了更快和更精确的工单处理方案，使 Uber 客户支持效劳愈加完满。

基于自然言语处置和机器学习构建 COTA

外表上看，COTA 只需搜集工单成绩的上下文信息，并前往能够的处理方案，但幕后还有很多事情要做。COTA 后台担任完成两项义务：确定工单所属类型并确定最合理的处理方案。

为了完成这一点，机器学习模型需求从客户提交的文本音讯中提取特征、行程信息和客户提交成绩时所选的类别。

当模型生成特征分数时，最有价值的特征是用户发送的成绩的文本音讯。由于用户发送的文本音讯关于了解成绩很重要， 我们树立了一个 NLP「管道」，能将多种不同言语的文本转换为对机器学习模型有用的特征 。

NLP 模型可以翻译和解释不同的文本元素，包括音韵、词性、语法、句法和语义。依据模型的结构单元，NLP 可以树立字符级、单词级、短语级和句子/文档级的言语辨认模型。

传统的 NLP 模型是基于人类言语学专业知识来提取文本信息的特征，随着端到端训练的深度学习形式衰亡，研讨人员开端开发可以解析整个文本块的模型，这时分不用明白地解析一个句子中不同单词之间的关系，而是直接运用原始文本。

在 COTA 中，我们首先构建一个单词级别的 NLP 模型，以更好天文解文本音讯的语义。自然言语处置中一个盛行的办法是主题建模，经过单词的计数统计信息来了解句子的主题。虽然主题建模没有思索到字词的顺序，但是关于诸如信息检索和文档分类等义务，曾经被证明十分有用。

rame="none" data-ori-height="412" data-ori-width="1024" />

图 3：为辨认工单成绩类型和选择处理方案，我们树立的 NLP「管道」模型由三个不同的步骤组成：预处置，特征工程和基于点的排序算法。

在 COTA 中，我们运用基于主题建模的 NLP「管道」模型处置文本音讯，信息处置流程如图 3 所示。

预处置

• 为了清洗文本，我们首先删除文本中的 HTML 标签。

• 接上去，我们联系工单音讯中的句子，并删除进展用词。

• 然后再停止词形化，将单词从不同的时态、派生方式停止复原。

• 最初，我们将文档转换成单词集合，并树立这些单词的字典。

主题建模

为了了解用户意图，预处置之后我们对单词包停止主题建模。

详细而言，我们运用词频 - 逆向文件频率（TF-IDF）的统计办法和潜在语义剖析算法（LSA）来提取主题。

图 4（a）中展现了主题建模中的一些能够的主题类型：

ntenteditable="false">
rame="none" data-ori-height="364" data-ori-width="1024" />

图 4（a）主题建模：我们运用 TF-IDF 和 LSA 从文本数据中提取主题

（ b）特征工程：将一切工单处理方案和工单成绩映射到主题向量空间，计算处理方案和工单之间的余弦类似度

特征工程

主题建模使我们可以直接运用主题向量作为特征，下游的分类器能将其作为辨认成绩类型和选择处理方案的根据。

但是，这种办法太直接，会遭到主题向量稀疏性的影响。为了有意义地表达这些主题，我们需求运用数百甚至数千维度的主题向量，而主题向量的之间的相关性接近于零。由于特征空间的维度十分高，需求处置少量的数据，因而训练这些模型变得相当困难。

思索到这些要素，我们决议以直接方式停止主题建模：经过计算余弦类似度特征来执行下一步的特征工程，如图 4（b）所示。以选择工单处理方案为例，我们搜集每个工单处理方案对应的历史工单，并构成这一工单处理方案对应的词聚集。

在这种状况下，主题建模转换是基于历史工单的词聚集表示。我们用向量 T _i 表示工单处理方案 i，对一切工单处理方案都停止这种转换。我们可以将任何新的工单映射到工单处理方案的主题向量空间 T ₁ ，T ₂ ... T _m ，其中 m 是能够运用的工单处理方案的总数。接上去构成工单 j 的矢量 t _j 。可以计算出 T _i 和 t _j 之间余弦类似度得分 s _ij ，就可以晓得工单处理方案 i 和工单 j 之间的类似度，从而将特征空间从数百或数千个维度增加到很低维度。

基于点的排序算法

接上去解释机器学习算法是如何选择工单处理方案的。

为了设计这个算法，我们将余弦类似度特征与其他工单信息、行程特征停止组合。每种工单类型有超越 1,000 种能够的工单处理方案，COTA 的超大的解空间使区分这些工单处理方案之间的纤细差别变得很困难。

为了给客服提供最佳的工单处理方案，我们使用了学习排序 (learning-to-rank) 算法，并构建了基于检索的点排序算法。

详细而言，我们将工单处理方案和工单之间的正确婚配标志为正（1），从工单处理方案与工单不婚配的集合中，我们随机抽样构成子集，并标志为负（0）。运用余弦类似度以及工单、行程特征，我们可以树立一个二分法分类器，接上去应用随机森林算法来判别工单处理方案与工单能否婚配。应用算法对能够的婚配停止评分，我们可以对评分停止排名，并给出排名最高的三个处理方案。

下图比拟了运用主题向量作为特征的传统多类分类算法与运用工程余弦类似特征的逐点排序算法的功能：

rame="none" data-ori-height="824" data-ori-width="1280" />

图 5：基于点的排序算法比多类分类算法的精确度高 25％

可以看到，运用余弦类似度作为特征的，基于点的排序算法优于直接运用主题向量的多类分类算法，精度进步了 25％。

比拟是在相反的数据集上，运用相反类型的算法（随机森林）停止的，且模型的超参数相反。排序框架中运用余弦类似度作为特征可以取得很好的效果。

更便捷更快的工单处置 = 更好的客户支持

COTA 功能优良，只要使用到实践场景中才有意义。为了权衡 COTA 对客户支持体验的影响，我们对多个在线英语工单停止了受控的 A / B 比照实验。在这些实验中，我们选择了几千名客服，将他们随机分配到对照组和实验组。对照组中的客服代表运用原来的任务流程，而实验组中的客服代表运用 COTA 助理，交互界面包括成绩类型和建议的工单处理方案。我们搜集了两个组的工单处置后果，并测量了一些关键目标，包括模型精确性、均匀处置工夫和客户称心度得分。

测试停止如下：

我们首先测量了模型的在线表现，并将其与离线表现停止了比拟。我们发现模型功能从离线到在线都是分歧的。

然后，我们测量了客户称心度分数，并比拟了对照组和实验组。总的来说，实验组的客户称心度进步了几个百分点。这一发现标明，COTA 可以提供相反或略高于人工的客户效劳质量。

最初，为了确定 COTA 对工单处置速度的影响，我们比拟了对照组和实验组的均匀工单处置工夫。均匀而言，COTA 将工单处置工夫延长了大约 10％。

经过进步客服的绩效和延长工单处理工夫，COTA 协助 Customer Obsession 团队更好地效劳于用户，从而进步客户称心度。COTA 减速了工单处置进程，每年可以为 Uber 节省数千万美元。

下一代 COTA 中的深度学习

COTA 的成功使我们更坚决地继续优化机器学习算法，以进步零碎精确性，并为客服和终端用户提供更好的体验。

深度学习框架可以在文本分类、汇总，机器翻译和许多辅佐 NLP 义务（句法和语义剖析，文本包含，命名实体辨认和链接）中运用。

与深度学习相关的实验

在 Uber AI 实验室的研讨人员的支持下，我们尝试将深度学习使用于下一代 COTA。我们基于卷积神经网络（CNN），递归神经网络（RNN）以及这两者的几种不同组合，完成了多种体系构造，包括分层构造和基于留意力的体系构造。

运用深度学习框架，我们可以以多义务学习的方式来训练我们的模型，运用单一模型既可以辨认成绩类型，又能提出最佳工单处理方案。由于成绩类型被组织成层次构造，我们可以训练模型来预测成绩在层次构造中的地位，在这其中运用波束搜索的循环解码器（相似于序列模型的解码组件），可以停止更准确的预测。

超参数优化选择最佳模型

为了确定最佳的深度学习架构，我们针对一切类型的架构停止了大规模超参数优化，并在 GPU 集群上停止了并行训练。最初的后果标明，最准确的体系构造既适用于 CNN 也适用于 RNN，但为了我们的研讨目的，我们决议寻求一种更复杂的 CNN 体系构造，该体系构造精准度稍有完善，但在训练和推断工夫上更具优势。我们最初设计的模型精度比原始随机森林模型高 10％。

在下图中，我们展现了工单集的数据掩盖率（模型正在处置的工单百分比，x 轴）和精确度（y 轴）之间的关系。如下所示，随着数据掩盖率的降低，两种模型都变得愈加准确，但是我们的深度学习模型在相反的数据掩盖率上表现出更高的精确性，在相反精确度下表现出更高的数据掩盖率。

rame="none" data-ori-height="780" data-ori-width="1180" /> 。

图 6：深度学习模型和经典模型（随机森林）功能比拟

我们与 Uber Michelangelo 团队协作，目前正处于将这个深度学习模型产品化最初的阶段。

雷锋网 (大众号：雷锋网) AI 研习社编译整理。

via： Uber

雷锋网版权文章，未经受权制止转载。概况见。