Datawhale AI 夏令营

Datawhale联合组织的一个活动，基于术语词典干预的机器翻译挑战赛（官网链接）。

简介

基于术语词典干预的机器翻译，就是选择以英文为源语言，中文为目标语言的机器翻译。需要基于提供的训练数据样本从多语言机器翻译模型进行构建与训练，并基于测试集以及术语词典，提供最终的翻译结果。

数据集

官方提供的数据有：

• 训练集

  中英14w余双语对。

  Stephen Palumbi: Following the mercury trail	史蒂芬·帕伦：追寻水银的踪迹
  It can be a very complicated thing, the ocean.	海洋是一个非常复杂的事物。
  And it can be a very complicated thing, what human health is.	人类的健康也是一件非常复杂的事情。
  ...
  

• 开发集

  英中1000双语句对。

• 测试集

  英中1000双语句对。

• 术语词典

  英中2226条。

  ABC	ABC
  AIDG	AIDG
  AIDS	AIDS
  ALS	肌萎缩性侧索硬化症
  AOL	AOL
  API	API
  ARPA	高级研究计划署
  ...
  

评价指标

使用自动评价指标BLUE-4（Bilingual Evaluation Understudy，双语评估替补）进行评价，大体上是机器翻译结果中的单词在参考译文中的占比，值越大，说明翻译效果越好。

主要内容

Baseline

baseline模型基于seq2seq实现机器翻译。

基本流程如下：

• 处理数据集
• 使用seq2seq进行编码解码，训练数据
• 在开发集上进行模型评价
• 在测试集上进行推理，输出结果

Transformer

基于循环或卷积神经网络网络的序列建模方法是机器翻译的经典方法，但是在建模长文本方面具有一定的局限性。

• 卷积神经网络：对于长文本需要多层卷积，不同层之间信息传递也可能有损失
• 循环神经网络：编码和解码端的每一时间步的隐藏状态都依赖于前一时间步的计算结果，造成了在训练和推断阶段的低效

为了解决以上问题，transformer完全通过注意力机制完成对源语言序列和目标语言序列全局依赖的建模。在抽取每个单词的上下文特征时，transformer通过自注意力机制衡量上下文中每一个单词对当前单词的重要程度，此过程高度可并行化。

Transformer的主要组件包括编码器(Encoder)、解码器(Decoder)和注意力层。其核心是利用多头自注意力机制（Multi-Head Self-Attention），使每个位置的表示不仅依赖于当前位置，还能够直接获取其他位置的表示。基本架构如下：

结果

第一次跑baseline分数只有0.3048，调整了训练的样本数量、epoch、droupout参数，有略微提升，分数0.9639。

用transformer跑了一次，分数6.9018，模型训练太慢了，还没有做参数调整。