携程人工客服电话95010 携程人工客服电话( 四 ) _云知道

Bi-GRU+Self-Attention
Bi-GRU+Self-Attention模型结构如下图4-4所示，在Bi-GRU的输出层后加入Self-Attention，用于监听每个词的重要性。

图4-4 Bi-GRU+Self-Attention模型结构
HAN
HAN (HierarchicalAttention Network for Document Classification) 是由ZichaoYang，DiyiYang等针对文档级别的分类任务提出的分级注意力模型。如图4-5所示，该模型有两个层次的attention机制，分别应用于单次级别和句子级别。attention机制让模型基于不同的单词和句子给予不同的注意力权重，让最后的文档表示更精确、有效。

图4-5 HAN模型结构
（2）针对错误原因2：未能正确识别行业词汇。
除了在数据处理过程中添加行业词汇，我们还尝试了近年来比较火的预训练语言模型如 Bert进行了建模。其好处在于在处理中文相关任务时，可直接基于单字学习字向量，避免了印欧语系的分词误差，而且字向量远少于词向量，有效避免场景OOV (Out of Vocabulary)，并且大幅缩减模型体积和复杂度。Bert建模过程中使用预训练的词向量作为特征，并在已有的数据集中进行微调。
（3）针对错误原因3：上下文特征未能充分表达
采用改进的Bi-GRU+Self-Attention 。如图4-6所示，我们在Bi-GRU+Self-Attention的基础上加入上下文场景特征，将这些特征处理成类别型变量，输入到模型中，最终该模型实现人工客服会话在12个类别上的分类准确率提升6.2% 。

图4-6 改进的Bi-GRU+Self-Attention
各模型的训练效果如表4-1所示。从训练效果来看，相对于Bi-GRU+Self-Attention(80.13%)、HAN(80.97%)，Bert取得的准确率为82.84%，提升非常明显。引入强规则特征后改进的Bi-GRU+Self-Attention效果达到了84.47% 。
表4-1 各模型训练效果
模型
准确率
Bi-GRU
78.12%
Bi-GRU+Self-Attention
80.13%
HAN
80.97%
Bert
82.84%
改进的Bi-GRU+Self-Attention
84.47%
五、总结
文章首先介绍了人工客服会话分类的背景，并从问题分析、数据处理、建模与优化三个部分介绍NLP技术在携程机票人工客服会话分类中的应用。
在问题分析部分，我们讨论了文本分类的几种经典的方法，包括基于统计学特征构建分类模型、采用词向量+深度神经网络构建分类模型、采用预训练语言模型进行分类。数据处理部分，介绍了人工会话数据的预处理方式。建模与优化部分，对badcase进行分析并总结三类错误原因，针对这三类错误原因给出可行的优化方案。
我们尝试了多种文本分类模型，并在分类效果上取得不断地提升，后续可以将预训练语言模型和上下文特征进行组合，进一步提升模型分类的准确率。
【作者简介】毛毛，携程高级数据挖掘工程师，热爱自然语言处理和推荐系统。