热门标签
热门文章
- 1程序员请收好：10个非常实用的 VS Code 插件
- 2如何使用api接入星火大模型（超详细，亲测有效！）_星火大模型v4接口
- 3NLTK库——词形还原（Lemmatization）_nltk词形还原(lemmatization)
- 4Python实战项目——用户消费行为数据分析（三）_数据挖掘消费者行为分析
- 5【深度学习】归一化（十一）_权重归一化
- 6LangChain安装和入门案例_langchain 安装
- 7MySQL面试题系列-8
- 8人工智能-----自然语言处理(NLP)基础理解_智能化需求调查与分析采用自然语言处理深度学习等技术从什么等自然语言描述文
- 9第四届全国人工智能大赛答疑分享会等你围观_杨文瀚 鹏城实验室
- 10西北乱跑娃 --- bottle web框架（七）_bottle 如何显示图片
当前位置: article > 正文
GPT笔记_csdn gpt
作者：我家小花儿 | 2024-04-07 09:47:31
赞
踩
csdn gpt
GPT笔记
GPT与Transformer中解码器的结构类似。GPT由多个Transformer中的解码器块组成，与Transformer中解码器不同在于没有编码器-解码器注意力层。因此，GPT中解码器块由遮蔽自注意力层和基于位置的前馈神经网络。
GPT-2和传统的语言模型一样，一次只输出一个token。
模型通过语言模型方法进行学习。将原始文本与译文用特殊符号隔开输入到模型中，学习每个位置输出的损失，最小化平均损失对模型进行训练
应用：
- 机器翻译：
- 文本生成
声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】
推荐阅读
相关标签
