当前位置: 主页 > 黄大仙特精准资料大全 > 正文

EMNLP 19 神经机器翻译中的动态过去未来建模

来源:未知 时间:2019-10-07 05:31

  近年来,神经机器翻译(Neural Machine Translation,NMT)已经事实上成为了主流的机器翻译方法,其在大多数主流语言对上的翻译效果大大超过了传统的统计机器翻译模型,并已经部署到了如 Google Translate 等商用场景中。

  NMT 通常采用带有注意力机制(Attention Model) 的编码器-解码器框架(Encoder-Decoder Framework)。在这个框架中,输入的源语言句子首先被编码器编码成一个词内容表示序列;基于这些源端的表示,解码器逐词地生成源语言句子的译文。其中,在生成每个词时,其通过注意力机制来从源端获取到当前要翻译的词对应的端词汇级别内容信息,这就像人类译者在翻译时需要知道此时对应的源端内容一样(我们称该内容为“当前,Present”)。

  与此同时,NMT 也应该像人类一样能够获悉当前时刻已经翻译过的源端内容(过去,Past)和还没翻译的内容(未来,Future)。这样一来,奇才高手论坛提速胶原蛋白生成,。过去、当前和未来这三类动态变化的内容状态就构成了每个时刻翻译的完整的源端上下文信息(Past+Present+Future=Holistic)。

  这个问题很大程度可归因于 NMT 对动态变化的已翻译和未翻译内容的识别不佳。为此,我们在之前的一个工作中首次展示了如果显式地建模机器翻译中的过去和未来信息可以一定程度地缓解这个问题,并且提升 NMT的翻译质量(Zheng et al., TACL2018)。我们当时分别使用了两个 RNN 来建模过去和未来信息,不足的是,RNN建模的结果分别对应源端哪些内容却不是那么容易确定。

  在本文的工作中,我们认为在每个时刻显式地将源端的词分为对应当前翻译过去和未来的两组,会让NMT 得以更好地识别和利用翻译中的动态完整的上下文,也能带来更好的对模型行为的解释性。

  该过程如图 1 所示。我们发现这个过程可以形式化成“部分-整体分配(Parts-to-Wholes Assignment)”:源语言各个词语(部分)被分配到两个不同的组,即过去和未来(整体)。

  图1:显式把源端词分成过去和未来两组。该例子中当前待翻译的目标词为“his”。

  前面说到,我们期望的区分过去和未来的过程可以被形式化成“部分-整体分配”过程,而胶囊网络及其配套的动态路由机制在以往的工作中展现出了适合建模该过程的强大能力。原始的动态路由机制是自发地将信息动态分配到不同的组中,而我们期望分配源语言词到过去和未来信息的过程受到当前翻译状态的指导。因此,我们改进并提出了一种新的动态路由机制来建模我们的目标。我们的方法如下:

  为了让这两组 Capsule 确实能通过 GDR得到我们期望的信息,即一组是过去内容,一组表示未来内容,我们还设计了两种不同的辅助监督信号来帮助 GDR 对识别和分配的学习。

  图 5:GDR 分配概率可视化。可以看到在目标译文翻译的前后,其对应源端内容分配概率的变化。总的来看,分配到过去的概率在逐渐累积,分配到未来的概率逐渐衰减

  在本文中,我们展示了在神经机器翻译中建模动态过去未来对翻译质量和忠实度的帮助。我们将识别和区分过去未来信息形式化成“部分-整体分配”过程,并提出了一种新的“有指导的动态路由”来建模该过程。该方法能应用到任意NMT架构中,基于当前翻译状态的指导动态地识别出此时对应的源端过去和未来内容,从而为预测译文提供一个完整的上下文信息。我们通过实验证明了该方法在多个机器翻译实验场景中的有效性,并且证明了该方法确实学到了我们预期的识别能力,具有很好的可解释性。另外,该方法还可以应用到文本摘要任务中。

    开码结果| 马经88图库大全| 福禄寿六和彩高手论坛| 铁算盘| 跑狗报玄机图开奖记录| 六合同彩资料一码中特| 一线图库开奖结果| 管家婆一句爆特码玄机| 图库最新上传| 刘伯温开奖结果百度|