attention： 输入和输出进行比较，不同的输出对不同输入的关注不同。假设输出 更关注输入 ， 更关注 ，那么在句子翻译中，语言 翻译成 ，那么很可能认为单词 翻译成 ， 翻译成 。能够使模型捕捉有用信息。
self-attention： 输入和输入自己进行比较（计算相似度），将输入的与上下文无关的词向量更新成上下文有关的词向量。解决了RNN等的短时记忆问题（即某个输入的词向量只与前几个输入有关）。
Thinking 和 Machines是同一组输入（同一句话）中的某两个输入（某两个单词）， 是上下文无关的词向量
其中， 是待训练的参数
每个 都算出n个score，即(1,n)的scores向量
其中， 是超参数（这里取64），为了让后面的计算中具有稳定的梯度
对于某个词向量， 即为所有词向量对该词向量的权重，将这些权重分别乘以各向量得到新向量。运算为
那么最后能生成输入句子中单词与单词直接的权重矩阵，即注意力矩阵
transfromer内部结构总体框架
上述框架可抽象成Encoders和Decoders
Encoders包含6个Encoder，Decoders包含6个Decoder
最后一个Encoder与6个Decoder建立连接，连接的意思是某种运算，例如RNN是使用中间语义 作为中间连接
以最后的那个Encoder和其中一个Decoder的连接为例，继续探究Encoder和Decoder的内部
Encoder和Decoder都有Self-Attention和Feed Forward层，Decoder还有一个 Encoder-Decoder Attention层，注意，Decoder中的注意力层其实是masked self-attention
同样，计算Self-Attention需要三个参数Q，K，V去计算注意力机制矩阵，这里重新定义了计算方式，如下
self-attention得到的注意力矩阵同上
masked self-attention得到的注意力矩阵与上面有点不同，这里的masked就是要在做翻译的时候，不给模型看到未来的信息。
Multi-Head Attention就是把Scaled Dot-Product Attention的过程做h次，然后把输出 合起来。它的结构图如下
输出 合起来后乘以一个参数 矩阵联合训练
因为注意力模型不像RNN那样无视了各输入之间的距离，因此是无法捕捉到序列顺序信息的，例如将K、V按行进行打乱，Attention之后的结果是一样的。为了保留序列信息，需要在embeddings得到的词向量上在加上一个包含序列信息的向量，即Position Embedding得到的向量。
Position Embedding计算方法：
Position Embedding的第偶数个元素
Position Embedding的第奇数个元素
Relu激活函数和两次线性变换