双向lstm,"kisetsu( 二 )


语音处理 , 2012 年前 , 最先进的语音识别系统是隐马尔可夫模型(HMM) 和高斯混合模型(GMM) 的结合 。目前最流行的是深度学习的RNN循环神经网络 , 及其发展长短时记忆网络LSTM , 以及GRU,双向RNN,分层RNN等 。自然语言处理 , 除了传统方法 , 目前深度学习用于自然语言处理的模型经历了基于CNN的模型 , 基于RNN的模型 , 基于Attention机制的模型 , 基于Transformer的模型等几个发展阶段 。

推荐阅读