概念

Transformer

• Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，现在比较火热的 Bert 也是基于 Transformer。
• Transformer 模型使用了注意力机制（attention mechanisms），不采用 RNN 的顺序结构，使得模型可以并行化训练，而且能够拥有全局信息
• Transformer 使用的是Encoder + Decoder的结构

Transformer 整体结构

• 添加了补充信息（手动修改版）：