1、
一文看懂 Attention（本质原理+3大优点+5大类型）_attention结构-CSDN博客2​​​​​​​2https://blog.csdn.net/haima1998/article/details/107845549

2、

一文看懂 NLP 里的模型框架 Encoder-Decoder 和 Seq2Seq (easyai.tech)

3、

详解深度学习中的注意力机制（Attention） - 知乎 (zhihu.com)

• --为什么要引入attention机制

总结：

        另外，在语音识别、目标物体检测等领域，注意力机制同样取得了很好的效果。

        实际上，Attention 机制听起来高大上，其关键就是学出一个权重分布，然后作用在特征上。

•  这个权重可以保留所有的分量，叫加权（Soft Attention），也可以按某种采样策略选取部分分量（Hard Attention）。        
• 这个权重可以作用在原图上，如目标物体检测；也可以作用在特征图上，如 Image-Caption
• 这个权重可以作用在空间尺度上，也可以作用于 Channel 尺度上，给不同通道的特征加权
• 这个权重可以作用在不同时刻上，如机器翻译