alexgwan
2019年11月16日论文《Attention Is All You Need》简称Transformer，作者Ashish Vaswani(Google Brain)，经典的自注意力论文。 摘要 
transformer 的并行化主要体现在self- attention 模块上，在encod er 端其可以并 论文 名: Attention Is All You Need 论文 作者:Ash is h Vaswani 等期刊/会议名
摘要。主流的序列转换模型都是基于复杂的循环神经网络或卷积神经网络，且都包含一个encoder和一个decoder …1 Introduction（简介）RNN，LSTM，GRU，Gated Recurrent Neural Networks 在序列建模和转换任务上，比如语言 …2 Background（背景）减少序列计算的目标也成就了 Extended Neural GPU [16]，ByteNet[18]，和ConvS2S[9] …3 Model Architecture（模型结构）大多数有竞争力的序列转换模型都有encoder-decoder结构构。这 …
详解Transformer （论文Attention Is All You Need） 正如论文的题目所说的，Transformer中抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。 更准确地讲，Transformer由且
