【nlp】3.2 Transformer论文复现：1. 输入部分（文本嵌入层和位置编码器）_transformer复现

作者：笔触狂放9 | 2024-08-12 04:58:08

踩

transformer复现

Transformer论文复现：输入部分（文本嵌入层和位置编码器）

1 输入复现

1 输入复现

输入部分包含:

源文本嵌入层及其位置编码器
目标文本嵌入层及其位置编码器

在这里插入图片描述

1.1 文本嵌入层

1.1.1 文本嵌入层的作用

其中两个输入都涉及到文本嵌入层，关于此层的作用总结如下：

无论是源文本嵌入还是目标文本嵌入，都是为了将文本中词汇的数字表示转变为向量表示, 希望在这样的高维空间捕捉词汇间的关系.

1.1.2 文本嵌入层的代码实现

文本嵌入层的代码分析:

# 导入必备的工具包
import torch

# 预定义的网络层torch.nn, 工具开发者已经帮助我们开发好的一些常用层, 
# 比如，卷积层, lstm层, embedding层等, 不需要我们再重新造轮子.
import torch.nn as nn

# 数学1
2
3
4
5
6
7

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/笔触狂放9/article/detail/967808