热门标签
热门文章
- 1极客网络学习_极客学习
- 2Python干货：大师兄一文教会你python with as的用法！！!_python with as用法l类似java
- 3月薪两万，大厂疯抢 AI 数据标注员_百度字节美团 数据标注
- 4CPAL脚本自动化测试 ———— 字符串处理函数
- 5堆溢出CVE复现分析（CVE-2010-2553）
- 6Vue 详情返回列表页记住滚动条位置详情_vue 列表记住滚动位置 详情回来
- 7SQL注入---字符绕过_sql注入过滤单引号
- 8八数码问题 (头歌 educoder 启发式搜索)(python实现)_本关任务:八数码问题是在一个3×3的棋盘上有1 8位数字随机分布,以及一个空格,
- 9如何完美解决升级 IntelliJ IDEA 最新版之后遇到 Git 记住密码功能失效的问题
- 10开启智能新时代！2024年中国AI大模型产业发展报告
当前位置: article > 正文
CV-transformer_残差链接的作用是把神经网络中隐藏层归一为正态分布吗?
作者：2023面试高手 | 2024-06-11 17:41:58
赞
踩
残差链接的作用是把神经网络中隐藏层归一为正态分布吗?
1.内容简述
1.1模型结构概览
2.模型输入
2.1 embedding（嵌入）
定义：某种格式的输入数据（如文本）转变为模型可以处理的向量表示，来描述原始数所包含的信息。
embedding层输出的结果为当前时间步的特征。其核心是借助torch提供的nn.Embedding.
2.2 positional Embedding(位置编码)
目的：为模型提供当前时间步的前后出现顺序的信息。（在本文中使用固定的位置变量）
pos：时间步下标编码
PEpos ：第pos个时间步的位置编码
i:代表positional embedding的维度
model：时间长度和embedding层相同 （512)
2.3 Encoder(编码器)和Decorder（解码器）
2.3.1相同点
推荐阅读
相关标签
