NNLM-pytorch

作者：神奇cpp | 2024-08-06 23:15:14

踩

NNLM-pytorch

NNLM笔记

提出了神经网络语言模型。该模型使用前n-1词来预测第n个词，计算概率p(wn|w1,w2,````,wn-1)。首先先将前n-1个词用one-hot表示，然后使用投影矩阵降维，再将降维后的n-1个词的表示拼接起来，

2003年提出
Bengio将神经网络引入语言模型的训练中，并得到了词向量这个副产物。词向量对后面深度学习在自然语言处理方面有很大的贡献，也是获取词的语义特征的有效方法
在这里插入图片描述

现在的任务：输入wt-n+1,````wt-1.这前n-1个单词，然后预测出下一个单词wt

import torch
import torch.nn as nn
import torch.optim as optimizer
import torch.utils.1
2
3

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/神奇cpp/article/detail/939759