transformer的Encoder和decoder的输入_如何将文本传入torcch的encoder

作者：Cpp五条 | 2024-04-01 10:08:54

踩

如何将文本传入torcch的encoder

1.Encoder的输入：enc_inputs

其一：用来生成Encoder自注意的mask，其二：在多头自注意中计算Q、K、V矩阵

2.decoder的输入：dec_inputs,enc_inputs,enc_outputs

dec_inputs：其一，用来生成decoder自注意的mask矩阵。其二，计算decoder的多头自注意层的Q、K、V矩阵。

enc_inputs：用来生成decoder中编码-解码层的mask矩阵，避免受Encoder输入中padding的影响。

enc_outputs：计算Decoder中编码-解码层中的K、V矩阵。

而decoder中编码-解码层中的Q矩阵，有decoder的多头自注意层的输出计算得到。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Cpp五条/article/detail/348295