自注意力机制(Self-Attention Mechanism)

作者：2023面试高手 | 2024-04-01 03:10:46

踩

self-attention mechanism

自注意力机制(Self-Attention Mechanism)

Self-Attention Mechanism.

自注意力(Self-Attention)机制也称为内部注意力(Intra-Attention)，是一种特殊的注意力机制。自注意力机制作为一种新型的网络结构被广泛应用于自然语言处理与计算机视觉等任务中。本文首先讨论注意力机制与自注意力机制的区别；其次对比卷积神经网络、循环神经网络和自注意力机制；最后介绍自注意力机制的实现细节。

本文目录：

Attention and Self-Attention
CNN, RNN, and Self-Attention
Self-Attention
Multi-Head Self-Attention
Position Encoding

1. Attention and Self-Attention

注意力机制(attention mechanism)最早是在序列到序列模型中提出的，用于解决机器翻译任务。在该任务中需要把输入序列

x 1, x 2, . . ., x j

${x_1,x_2,...,x_j}$ 转换为输出序列

y 1, y 2, . . ., y i

${y_1,y_2,...,y_i}$ ，因此序列到序列模型采用编码器-解码器结构，即引入

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/2023面试高手/article/detail/347161