devbox
数据结构灵魂2
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Pytorch：嵌入层Embedding、EmbeddingBag_pytorch神经网络的嵌入层

作者：数据结构灵魂2 | 2024-01-30 14:38:35

赞

踩

pytorch神经网络的嵌入层

日萌社

 

人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）

  1.     Embedding
  2.         keras.layers.Embedding(input_dim, output_dim, embeddings_initializer='uniform', 
  3.                                 embeddings_regularizer=None, activity_regularizer=None, 
  4.                                 embeddings_constraint=None, mask_zero=False, input_length=None)
  5.             1.将正整数（索引值）转换为固定尺寸的稠密向量。 例如： [[4], [20]] -> [[0.25, 0.1], [0.6, -0.2]]
  6.               该层只能用作模型中的第一层。
  7.             2.Embedding层输入是一维[单个字符/单个单词]，那么输出为二维[单个字符/单个单词, embedding_dim]；
  8.               Embedding层输入是二维[batch_size, 单个字符/单个单词]，那么输出为三维[batch_size, 单个字符/单个单词, embedding_dim]。
  9.             
  10.         1.例子
  11.             model = Sequential()
  12.             model.add(Embedding(1000, 64, input_length=10))
  13.             # 模型将输入一个大小为 (batch, input_length) 的整数矩阵。
  14.             # 输入中最大的整数（即词索引）不应该大于 999 （词汇表大小）
  15.             # 现在 model.output_shape == (None, 10, 64)，其中 None 是 batch 的维度。
  16.             # 输入input_array的shape为(batch_size, sequence_length) 的 2D 张量
  17.             input_array = np.random.randint(1000, size=(32, 10))
  18.             model.compile('rmsprop', 'mse')
  19.             #输出output_array的shape为(batch_size, sequence_length, output_dim) 的 3D 张量
  20.             output_array = model.predict(input_array)
  21.             assert output_array.shape == (32, 10, 64)
  22.         2.输入尺寸
  23.             尺寸为 (batch_size, sequence_length) 的 2D 张量。
  24.         3.输出尺寸
  25.             尺寸为 (batch_size, sequence_length, output_dim) 的 3D 张量。
  26.         4.参数
  27.             input_dim: int > 0。词汇表大小， 即，最大整数 index + 1。
  28.             output_dim: int >= 0。词向量的维度。
  29.             embeddings_initializer: embeddings 矩阵的初始化方法 (详见 initializers)。
  30.             embeddings_regularizer: embeddings matrix 的正则化方法 (详见 regularizer)。
  31.             embeddings_constraint: embeddings matrix 的约束函数 (详见 constraints)。
  32.             mask_zero: 
  33.                 是否把 0 看作为一个应该被遮蔽的特殊的 "padding" 值。这对于可变长的 循环神经网络层 十分有用。 
  34.                 如果设定为 True，那么接下来的所有层都必须支持 masking，否则就会抛出异常。 
  35.                 如果 mask_zero 为 True，作为结果，索引 0 就不能被用于词汇表中（input_dim 应该与 vocabulary + 1 大小相同）。
  36.             input_length: 
  37.                     输入序列的长度，当它是固定的时。 如果你需要连接 Flatten 和 Dense 层，
  38.                     则这个参数是必须的 （没有它，dense 层的输出尺寸就无法计算）。
  1. import torch.nn as nn
  2. import torch
  3.  
  4. embedding = nn.Embedding(10, 3)
  5. x = torch.tensor([[0,1],[8,9]])
  6. result = embedding(x)
  7. # print(result)
  8. # tensor([[[ 0.8168, -0.9338, -0.3293],
  9. #          [ 0.8791,  0.4560,  1.4109]],
  10. #         [[ 0.3612,  0.9988, -0.5982],
  11. #          [ 0.8584, -0.5055,  1.5467]]], grad_fn=<EmbeddingBackward>)
  12.  
  13. """
  14. 设置padding_idx=0之后，那么传入的索引值0通过Embedding层之后，索引值0对应的输出权重值全为0.0000
  15. """
  16. embedding = nn.Embedding(10, 3, padding_idx=0)
  17. x = torch.tensor([[0,1],[8,9]])
  18. result = embedding(x)
  19. print(result)
  20. # tensor([[[ 0.0000,  0.0000,  0.0000],
  21. #          [-1.3279,  0.6434, -0.5540]],
  22. #         [[-0.2641,  0.1417,  0.0175],
  23. #          [-2.8311,  2.0384, -0.0970]]], grad_fn=<EmbeddingBackward>)
  24.  
  25. """
  26. 报错：RuntimeError: index out of range: Tried to access index 10 out of table with 9 rows.
  27. 报错意思可以翻译为：RuntimeError: index out of range: Tried to access index vocab词表大小 out of table with 单词索引值 rows.
  28. 分析：Embedding(词表大小, 词嵌入维度)：
  29.         1.词表大小代表所有不重复单词数的总数大小，词嵌入维度代表一个单词对应的词嵌入维度的向量。
  30.           Embedding底层中会构建一个“词表大小*词嵌入维度”的二维权重矩阵，行数即为词表大小，列数即为词嵌入维度。
  31.           每个不重复的词的索引值对应二维权重矩阵中的一行，那么一个单词通过Embedding层输出后为该单词的索引对应那行的词嵌入维度向量，
  32.           也就是说把该单词的索引值对应的二维权重矩阵中的那一行的词嵌入维度向量取出来，作为该单词对应的权重值向量信息。
  33.         2.<start>和<end>同样一开始也是要放到词表WordToIndex和IndexToWord的两个字典中，<start>对应索引值0，<end>对应索引值1。
  34.         3.Embedding层要求传入的单词索引值必须在“0到词表大小减1”的这个范围之间，传入到Embedding层中的单词索引值大于或等于词表大小值的时候，
  35.           就会报错表示单词索引值超出了词表大小范围。
  36. """
  37. embedding = nn.Embedding(10, 3)
  38. x = torch.tensor([[0,1],[5,10]])
  39. result = embedding(x)
  40. print(result)

Embedding版本.py

  1. """ pip install torchtext """
  2. # 导入torchtext.datasets中的文本分类任务
  3. # from torchtext.datasets import text_classification
  4.  
  5. from day04 import My_text_classification
  6.  
  7. # 导入相关的torch工具包
  8. import torch
  9. import os
  10. # 导入必备的torch模型构建工具
  11. import torch.nn as nn
  12. import torch.nn.functional as F
  13. # 导入torch中的数据加载器方法
  14. from torch.utils.data import DataLoader
  15. # 导入时间工具包
  16. import time
  17. # 导入数据随机划分方法工具
  18. from torch.utils.data.dataset import random_split
  19. import numpy as np
  20. #================================================================================================
  21.  
  22. # 指定BATCH_SIZE的大小
  23. BATCH_SIZE = 2
  24.  
  25. # 进行可用设备检测, 有GPU的话将优先使用GPU
  26. device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
  27.  
  28. # 定义数据下载路径, 当前路径的data文件夹
  29. load_data_path = "./data"
  30. # 如果不存在该路径, 则创建这个路径
  31. if not os.path.isdir(load_data_path):
  32.     os.mkdir(load_data_path)
  33.  
  34. """
  35. 注意：
  36.     因为调用text_classification这个API的话，每次调用都会自动下载，因此修改text_classification其中的源码。
  37.     首先拷贝一份text_classification.py修改为My_text_classification放到自己项目中，
  38.     把所调用的底层中函数中的第一行download_from_url(URLS[dataset_name], root=root) 注释掉
  39. """
  40. # 选取torchtext中的文本分类数据集'AG_NEWS'即新闻主题分类数据, 保存在指定目录下
  41. # 并将数值映射后的训练和验证数据加载到内存中
  42. train_dataset, test_dataset = My_text_classification.DATASETS['AG_NEWS'](root=load_data_path)
  43. # train_dataset, test_dataset = text_classification.DATASETS['AG_NEWS'](root=load_data_path)
  44.  
  45. """
  46. 1.EmbeddingBag API官方介绍：
  47.     https://pytorch.org/docs/stable/nn.html?highlight=embeddingbag#torch.nn.EmbeddingBag
  48. 2.torch.nn.EmbeddingBag(num_embeddings, embedding_dim, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, 
  49.                         mode='mean', sparse=False, _weight=None)
  50.     参数解释：
  51.         计算嵌入的“bags”的sums或means的方法，而不实例化中间嵌入embeddings。
  52.         对于长度恒定且无per_sample_weights的bags，该类
  53.         其中 mode="sum" 等于嵌入 Embedding 后跟 torch.sum(dim=0)
  54.         其中 mode="mean" 等于嵌入 Embedding 后跟 torch.mean(dim=0)
  55.         其中 mode="max" 等于嵌入 Embedding 后跟 torch.max(dim=0)
  56.     使用：
  57.         embedding = nn.EmbeddingBag(vocab_size, embed_dim)  
  58.         embedding(input, offsets)
  59.     参数解释：    
  60.         vocab_size: 词汇表不重复单词总数，整个语料包含的不同词汇的总数
  61.         embed_dim: 指定词嵌入的维度，一个单词的词嵌入维度
  62.         input：批量样本数据，用于准备输入到Embedding层中进行嵌入张量化
  63.         offsets：
  64.             offsets为一维张量，张量中每个值为每个句子头个单词在当前批量样本句子数据中的起始位置。
  65.             可以通过间接的方式计算出每个句子头个单词在当前批量样本句子数据中的起始位置，
  66.             首先计算出每个句子的长度，即每个句子中的单词数，然后通过cumsum函数可以计算出每个元素值的累计和，
  67.             比如[1.0, 2.0, 3.0] 通过cumsum函数计算出结果为[1., 3., 6.]，即每个元素值是第一个元素值到当前元素值的累计和，
  68.             那么便可以通过这种方式，传入每个句子的长度到cumsum函数计算出每个句子的累计和，
  69.             那么即得出每个句子在当前批量样本句子数据中的起始位置。
  70. 3.例子
  71.     >>> # vocab_size=10, embed_dim=3
  72.     >>> embedding_sum = nn.EmbeddingBag(10, 3, mode='sum')
  73.     >>> # 一个批量有2个样本，每个样本有4个数值
  74.     >>> input = torch.LongTensor([1,2,4,5, 4,3,2,9])
  75.     >>> #每个句子的头个单词的索引位置，即每个句子头个单词的起始位置
  76.     >>> #offsets必须是1D张量，1D张量中每个值为input中每个bag(样本句子)的起始索引位置
  77.     >>> #因为知道每个样本有4个数值，因此0为第一个句子头个单词的起始位置，4为第二个句子头个单词的起始位置
  78.     >>> offsets = torch.LongTensor([0, 4])
  79.     >>> embedding_sum(input, offsets)
  80.     tensor([[-0.8861, -5.4350, -0.0523],
  81.             [ 1.1306, -2.5798, -1.0044]])
  82. """
  83.  
  84. """
  85. 第一步: 构建带有Embedding层的文本分类模型
  86. """
  87. class TextSentiment(nn.Module):
  88.     """文本分类模型"""
  89.     def __init__(self, vocab_size, embed_dim, num_class):
  90.         """
  91.         description: 类的初始化函数
  92.         :param vocab_size: 整个语料包含的不同词汇总数
  93.         :param embed_dim: 指定词嵌入的维度
  94.         :param num_class: 文本分类的类别总数
  95.         """
  96.         super().__init__()
  97.         """
  98.         使用torch.optim.Adam(model.parameters(), lr=0.1)后报错如下：
  99.             RuntimeError: Adam does not support sparse gradients, please consider SparseAdam instead
  100.         分析：因为Adam的关系，所以nn.Embedding(vocab_size, embed_dim, sparse=True)中的sparse不能等于True，必须为False
  101.         解决：nn.Embedding(vocab_size, embed_dim, sparse=False)
  102.         """
  103.         # 实例化embedding层, sparse=True代表每次对该层求解梯度时, 只更新部分权重。使用Adam时，需要把设置sparse不能设置为True
  104.         #nn.Embedding(vocab_size 词汇总数, embed_dim 单词嵌入维度)
  105.         self.embedding = nn.Embedding(vocab_size, embed_dim, sparse=False) #vocab_size 95812，embed_dim 32
  106.          # 实例化线性层, 参数分别是embed_dim和num_class
  107.         self.fc = nn.Linear(embed_dim, num_class) #embed_dim 32，num_class 4
  108.         # 为各层初始化权重
  109.         self.init_weights()
  110.  
  111.     def init_weights(self):
  112.         """初始化权重函数"""
  113.         # 指定初始权重的取值范围数
  114.         initrange = 0.5
  115.         # 各层的权重参数都是初始化为均匀分布
  116.         self.embedding.weight.data.uniform_(-initrange, initrange) #初始化 -0.5 到 0.5之间
  117.         self.fc.weight.data.uniform_(-initrange, initrange) #初始化 -0.5 到 0.5之间
  118.         # 偏置初始化为0
  119.         self.fc.bias.data.zero_() ##初始化 0
  120.  
  121.     """
  122.     output = model(text)
  123.         每次训练传入的text为tensor类型的一维数组，数组中的值均为单词对应在词汇列表中的索引值。
  124.         text由16个句子的批量大小组成的一维数组，因此每个句子的长度都不一致的关系，
  125.         因此每个一维数组text的长度都不一致。
  126.         
  127.     embedded = self.embedding(text)
  128.         embedded.shape为(m, 32)，m为批量大小16个句子的单词总数，并且每个批量的embedded(同text原理)的m都是不相同的，
  129.         32为单词的嵌入维度(权重维度)。
  130.     
  131.     c = embedded.size(0) // BATCH_SIZE
  132.     embedded = embedded[:BATCH_SIZE*c] 
  133.         已知m的值远大于BATCH_SIZE=16，为了在模型中以便通过fc层后能计算相应的损失，
  134.         实际即为了(m, 32)中的m维度值可以整除BATCH_SIZE，
  135.         因此还需要将(m, 32) 转化成 (m//BATCH_SIZE*BATCH_SIZE, 32)，c为批量个数，
  136.         即先用m整除BATCH_SIZE, 获得m中共包含c个BATCH_SIZE，之后再从embedded中取c*BATCH_SIZE个向量得到新的embedded。
  137.         这个新的embedded中的向量个数可以整除BATCH_SIZE。
  138.  
  139.     embedded = embedded.transpose(1, 0).unsqueeze(0)
  140.     embedded = F.avg_pool1d(embedded, kernel_size=c)
  141.          因为我们想利用平均池化的方法求embedded中指定行数的列的平均数，但平均池化方法是作用在行上的, 
  142.          并且需要3维输入因此我们对新的embedded进行转置后并拓展维度。
  143.          首先transpose(1, 0)把embedded的(m, 32)转换为(32, m)，然后unsqueeze(0)拓展维度变成(1, 32, m)，
  144.          然后就是调用平均池化avg_pool1d方法, 并且核的大小kernel_size为c(批量个数)，
  145.          即取每c个的元素计算一次均值作为结果，即最终有 m/c(批量个数)个平均值，
  146.          即是对(m, 32)的embedded 中的m 即按行进行求平均值，
  147.          实际即 一共有m个单词，每个单词的嵌入维度为32，那么如果对每个单词的嵌入维度求平均值是毫无意义的，
  148.          应该是求一段单词的平均值，因此kernel_size=c 实际即卷积核的大小为c，那么就是按照c个单词数求一个平均值。
  149.         
  150.     embedded.shape: torch.Size([625, 32])
  151.     c: 39 # 625 / batch_size(16) = 39.0625
  152.     embedded.shape: torch.Size([624, 32]) # 39 * batch_size(16) = 624
  153.     embedded.shape: torch.Size([1, 32, 624]) 
  154.     embedded.shape: torch.Size([1, 32, 16]) # 624 / 39 = 16
  155.     """
  156.     def forward(self, text):
  157.         """
  158.         :param text: 文本数值映射后的结果
  159.         :return: 与类别数尺寸相同的张量, 用以判断文本类别
  160.         """
  161.         # 获得embedding的结果embedded
  162.         # >>> embedded.shape
  163.         # (m, 32) 其中m是BATCH_SIZE大小的数据中词汇总数
  164.         embedded = self.embedding(text)
  165.         # print("embedded.shape:",embedded.shape)
  166.  
  167.         # 接下来我们需要将(m, 32)转化成(BATCH_SIZE, 32)
  168.         # 以便通过fc层后能计算相应的损失
  169.         # 首先, 我们已知m的值远大于BATCH_SIZE=16,
  170.         # 用m整除BATCH_SIZE, 获得m中共包含c个BATCH_SIZE
  171.         c = embedded.size(0) // BATCH_SIZE
  172.         # print("c:",c)
  173.  
  174.         # 之后再从embedded中取c*BATCH_SIZE个向量得到新的embedded
  175.         # 这个新的embedded中的向量个数可以整除BATCH_SIZE
  176.         embedded = embedded[:BATCH_SIZE*c]
  177.         # print("embedded.shape:",embedded.shape)
  178.  
  179.         # 因为我们想利用平均池化的方法求embedded中指定行数的列的平均数,
  180.         # 但平均池化方法是作用在行上的, 并且需要3维输入
  181.         # 因此我们对新的embedded进行转置并拓展维度
  182.         embedded = embedded.transpose(1, 0).unsqueeze(0)
  183.         # print("embedded.shape:",embedded.shape)
  184.  
  185.         # 然后就是调用平均池化的方法, 并且核的大小为c
  186.         # 即取每c的元素计算一次均值作为结果
  187.         embedded = F.avg_pool1d(embedded, kernel_size=c)
  188.         # print("embedded.shape:",embedded.shape)
  189.  
  190.         # embedded = F.relu(embedded)
  191.  
  192.         # 最后，还需要减去新增的维度, 然后转置回去输送给fc层
  193.         return self.fc(embedded[0].transpose(1, 0))
  194.  
  195. """
  196. 实例化模型
  197. """
  198. # 获得整个语料包含的不同词汇总数
  199. VOCAB_SIZE = len(train_dataset.get_vocab())
  200. # 指定词嵌入维度
  201. EMBED_DIM = 32
  202. # 获得类别总数
  203. NUN_CLASS = len(train_dataset.get_labels())
  204. # print("VOCAB_SIZE词数:",VOCAB_SIZE) # 95812
  205. # print("NUN_CLASS类别数:",NUN_CLASS) # 4
  206.  
  207. # 实例化模型
  208. model = TextSentiment(VOCAB_SIZE, EMBED_DIM, NUN_CLASS).to(device)
  209.  
  210. """
  211. 第二步: 对数据进行batch处理
  212. """
  213. def generate_batch(batch):
  214.     """
  215.     description: 生成batch数据函数
  216.     :param batch: 由样本张量和对应标签的元组组成的batch_size大小的列表
  217.                   形如:  [(label1, sample1), (label2, sample2), ..., (labelN, sampleN)]
  218.     :return: 样本张量和标签各自的列表形式(张量)
  219.              形如:
  220.              text = tensor([sample1, sample2, ..., sampleN])
  221.              label = tensor([label1, label2, ..., labelN])
  222.     """
  223.     """
  224.     batch：16个数据，格式为(标签值,样本数据)，一共有16个这样的元祖构成一个列表
  225.     """
  226.     # print("batch size批量样本数:",len(batch)) # 列表中有 16 个元祖
  227.     # print("batch[0][0]:",batch[0][0]) # 元祖中的 int标签值
  228.     # print("batch[0][1]:",batch[0][1]) # 元祖中的 样本数据，数据值为单词在词汇列表中的索引值
  229.  
  230.     # 从batch中获得样本张量
  231.     # text = torch.tensor()
  232.     text = [entry[1] for entry in batch]
  233.     # 从batch中获得标签张量
  234.     label = [entry[0] for entry in batch]
  235.     # print("batch_size批量大小的样本特征:", len(text)) #16
  236.     # print("batch_size批量大小的标签:", len(label)) #16
  237.  
  238.     # text中包含16个句子，每个句子的长度都不一样，最终通过cat函数把16个句子的单词都封装到一个列表中
  239.     #text中的值 实际是16句子中的单词对应的索引值，因此cat函数封装成的一个列表中的元素值都是单词对应的索引值
  240.     #每个批量的16个句子都是长度不一致，因此每个批量中的text.shape都可能是不相同
  241.     text = torch.cat(text)
  242.     label = torch.tensor(label) #使用 torch.tensor 把 list 转换为 tensor类型
  243.     # print("cat(text):", text.shape)  #每个批量中的text的长度(16个句子一共的单词数)都可能是不相同
  244.     # print("label:", label.shape)  #torch.Size([16]) 16个句子对应的标签值
  245.  
  246.     # 返回结果
  247.     return text.to(device), label.to(device)
  248.  
  249. """
  250. 第三步: 构建训练与验证函数
  251. """
  252.  
  253. # 指定训练轮数
  254. N_EPOCHS = 100
  255. # 定义初始的验证损失
  256. # min_valid_loss = float('inf')
  257. # 选择损失函数, 这里选择预定义的交叉熵损失函数
  258. criterion = torch.nn.CrossEntropyLoss().to(device)
  259. # 选择随机梯度下降优化器
  260. # optimizer = torch.optim.SGD(model.parameters(), lr=0.1)
  261. optimizer = torch.optim.Adam(model.parameters(),lr=0.01,betas=(0.9, 0.999), eps=1e-08, weight_decay=0, amsgrad=False)
  262. # 选择优化器步长调节方法StepLR, 用来衰减学习率
  263. # 5个step调节一次例如，每执行一次scheduler.step()为一个step。
  264. # scheduler = torch.optim.lr_scheduler.StepLR(optimizer, 1, gamma=0.9)
  265. # scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=N_EPOCHS)
  266.  
  267. """
  268.     使用torch.optim.Adam(model.parameters(), lr=0.1)后报错如下：
  269.         RuntimeError: Adam does not support sparse gradients, please consider SparseAdam instead
  270.     分析：因为Adam的关系，所以nn.Embedding(vocab_size, embed_dim, sparse=True)中的sparse不能等于True，必须为False
  271.     解决：nn.Embedding(vocab_size, embed_dim, sparse=False)
  272.        
  273. class torch.optim.lr_scheduler.StepLR(optimizer,step_size,gamma=0.1,last_epoch=-1)
  274.     optimizer(Optimizer对象)--优化器
  275.     step_size(整数类型): 调整学习率的步长,每过step_size次,更新一次学习率。每执行一次scheduler.step()为一个step
  276.     gamma(float 类型):学习率下降的乘数因子
  277.     last_epoch(int类型):最后一次epoch的索引,默认为-1.
  278. """
  279.  
  280. def train(train_data):
  281.     """模型训练函数"""
  282.     # 初始化训练损失和准确率为0
  283.     train_loss = 0
  284.     train_acc = 0
  285.  
  286.     # 使用数据加载器生成BATCH_SIZE大小的数据进行批次训练
  287.     # data就是N多个generate_batch函数处理后的BATCH_SIZE大小的数据生成器
  288.     #drop_last=True：丢弃不满足批量大小的批量数据，一般会是最后一个批量数据中的样本数可能不满足于批量大小，因此需要丢弃以防止报错
  289.     data = DataLoader(train_data, batch_size=BATCH_SIZE, shuffle=True, collate_fn=generate_batch, drop_last=True)
  290.  
  291.     # 对data进行循环遍历, 使用每个batch的数据进行参数更新
  292.     for i, (text, cls) in enumerate(data):
  293.         """
  294.         如果当前批量数据中的样本数不满足批量大小的话，执行后面就会报错，因此需要每次训练的批量数据中的样本数必须满足批量大小
  295.         常见的情况就是一般最后一个批次数据中的样本数可能存在不满足于批量大小，因此都需要判断这个步骤
  296.         """
  297.         # if len(cls) != BATCH_SIZE:
  298.         #     continue
  299.         # 设置优化器初始梯度为0
  300.         optimizer.zero_grad()
  301.         # 模型输入一个批次数据, 获得输出
  302.         output = model(text)
  303.         """
  304.         模型最后一个输出层输出的维度是类别数4，那么因为每个批量大小为16，
  305.         那么一个批量中的真实标签值一共有16个int值(16个句子对应16个真实标签值)。
  306.         因此模型的预测输出的维度是torch.Size([16, 4])，和真实标签值列表[16] 进行比较是否相同。
  307.         """
  308.         # print("output:",output.shape) #torch.Size([16, 4])
  309.         # 根据真实标签与模型输出计算损失
  310.         loss = criterion(output, cls)
  311.         # 将该批次的损失加到总损失中
  312.         train_loss += loss.item()
  313.         # print("loss:",loss.item()) # loss.item()为一个 float小数值
  314.  
  315.         # 误差反向传播
  316.         loss.backward()
  317.         # 参数进行更新
  318.         optimizer.step()
  319.         """
  320.         output维度为 [16, 4]。
  321.         output.argmax(1) 取的是每行中最大元素值的索引值，一共有16行，那么最终得出16个索引值。
  322.         output.argmax(0) 在此处使用的话为错误用法，只能取出4个值，取出的是 每列中最大元素值的索引值。 
  323.         """
  324.         # 将该批次的准确率加到总准确率中
  325.         train_acc += (output.argmax(1) == cls).sum().item()
  326.  
  327.     # 调整优化器学习率
  328.     # scheduler.step()
  329.     """
  330.     len(train_data) 获取的是训练样本数量 114000
  331.     使用 train_loss/训练样本数量，train_acc/训练样本数量
  332.     """
  333.     # 返回本轮训练的平均损失和平均准确率
  334.     return train_loss / len(train_data), train_acc / len(train_data)
  335.  
  336. def valid(valid_data):
  337.     """模型验证函数"""
  338.     # 初始化验证损失和准确率为0
  339.     loss = 0
  340.     acc = 0
  341.  
  342.     # 和训练相同, 使用DataLoader获得训练数据生成器
  343.     #drop_last=True：丢弃不满足批量大小的批量数据，一般会是最后一个批量数据中的样本数可能不满足于批量大小，因此需要丢弃以防止报错
  344.     data = DataLoader(valid_data, batch_size=BATCH_SIZE, collate_fn=generate_batch, drop_last=True)
  345.     # 按批次取出数据验证
  346.     for text, cls in data:
  347.         """
  348.         如果当前批量数据中的样本数不满足批量大小的话，执行后面就会报错，因此需要每次训练的批量数据中的样本数必须满足批量大小
  349.         常见的情况就是一般最后一个批次数据中的样本数可能存在不满足于批量大小，因此都需要判断这个步骤
  350.         """
  351.         # if len(cls) != BATCH_SIZE:
  352.         #     continue
  353.         # 验证阶段, 不再求解梯度
  354.         with torch.no_grad():
  355.             # 使用模型获得输出
  356.             output = model(text)
  357.             # 计算损失
  358.             loss = criterion(output, cls)
  359.             # 将损失和准确率加到总损失和准确率中
  360.             loss += loss.item()
  361.             acc += (output.argmax(1) == cls).sum().item()
  362.  
  363.     # 返回本轮验证的平均损失和平均准确率
  364.     return loss / len(valid_data), acc / len(valid_data)
  365.  
  366.  
  367. """
  368. 第四步: 进行模型训练和验证
  369. """
  370. def train_model():
  371.     train_dataset_size = len(train_dataset)
  372.     # print("train_dataset 总样本数",train_dataset_size) #120000
  373.  
  374.     # 从train_dataset取出0.95作为训练集, 先取其长度
  375.     train_len = int(train_dataset_size * 0.95)
  376.     valid_len = train_dataset_size - train_len
  377.     # print("train_len 训练样本数",train_len) #114000
  378.     # print("valid_len 验证本数",valid_len) #6000
  379.  
  380.     # while 1:
  381.     #     if (train_len % BATCH_SIZE == 0):
  382.     #         break
  383.     #     else:
  384.     #         train_len -= 1
  385.     # while 1:
  386.     #     if (valid_len % BATCH_SIZE == 0):
  387.     #         break
  388.     #     else:
  389.     #         valid_len -= 1
  390.     # print("处理后的训练样本数： %d, 处理后的验证样本数： %d" % (train_len, valid_len))
  391.  
  392.     # 然后使用random_split进行乱序划分, 得到对应的训练集和验证集
  393.     sub_train_, sub_valid_ = random_split(train_dataset, [train_len, valid_len])
  394.  
  395.     """
  396.     RuntimeError: Expected object of backend CUDA but got backend CPU for argument #3 'index'
  397.     分析：data数据或者model没有调用.to(device)
  398.     解决：
  399.         # 进行可用设备检测, 有GPU的话将优先使用GPU
  400.         device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
  401.         model = model.to(device) 或 model = model.cuda(device)
  402.         output = model(input.to(device)) 或 output = model(input.cuda(device))
  403.         # 选择损失函数, 这里选择预定义的交叉熵损失函数
  404.         criterion = torch.nn.CrossEntropyLoss().to(device) 或 criterion = torch.nn.CrossEntropyLoss().cuda(device)
  405.         loss = criterion(output, lable.to(device)) 或 loss = criterion(output, lable.cuda(device))
  406.     """
  407.  
  408.     # 开始每一轮训练
  409.     for epoch in range(N_EPOCHS):
  410.         # 记录概论训练的开始时间
  411.         start_time = time.time()
  412.         # 调用train和valid函数得到训练和验证的平均损失, 平均准确率
  413.         train_loss, train_acc = train(sub_train_)
  414.         valid_loss, valid_acc = valid(sub_valid_)
  415.  
  416.         # 计算训练和验证的总耗时(秒)
  417.         secs = int(time.time() - start_time)
  418.         # 用分钟和秒表示
  419.         mins = secs / 60
  420.         secs = secs % 60
  421.  
  422.         # 打印训练和验证耗时，平均损失，平均准确率
  423.         print('Epoch: %d' % (epoch + 1), " | time in %d minutes, %d seconds" % (mins, secs))
  424.         print(f'\tLoss: {train_loss:.4f}(train)\t|\tAcc: {train_acc * 100:.1f}%(train)')
  425.         print(f'\tLoss: {valid_loss:.4f}(valid)\t|\tAcc: {valid_acc * 100:.1f}%(valid)')
  426.  
  427. if __name__ == '__main__':
  428.     """
  429.     Epoch: 98  | time in 1 minutes, 0 seconds
  430. 	Loss: 0.0427(train)	|	Acc: 94.5%(train)
  431. 	Loss: 0.0000(valid)	|	Acc: 87.0%(valid)
  432.     """
  433.     train_model()

EmbeddingBag版本.py

  1. from day04 import My_text_classification
  2. from torchtext.datasets.text_classification import *
  3. import os
  4. import torch.nn as nn
  5. import torch.nn.functional as F
  6.  
  7. """
  8. BATCH_SIZE大小设置对训练耗时的影响：
  9.     1.如果当设置BATCH_SIZE等于训练样本时，比如训练样本有512个，设置BATCH_SIZE=512，那么一次BATCH_SIZE=512的批量数据进行训练时，
  10.       会计算BATCH_SIZE=512个样本的反向传播，求出512个样本的梯度累计和，然后使用该梯度累计和进行一次权重参数更新。
  11.     2.如果当设置BATCH_SIZE等于1时，，比如训练样本有512个，设置BATCH_SIZE=1，那么一次BATCH_SIZE=1的批量数据进行训练时，
  12.       会计算BATCH_SIZE=1个样本的反向传播，求出1个样本的梯度，然后使用该梯度进行一次权重参数更新，
  13.       那么当所有512个样本都完成训练时，一共进行了512次反向传播(梯度计算)，512次参数更新。
  14.     3.结论：
  15.         1.显然BATCH_SIZE设置越大，那么所有训练样本数据完成一次训练(完成一个epoch)要进行的参数更新次数会更少，
  16.           那么训练耗时更短，BATCH_SIZE设置越小，一个epoch训练完所有样本数据要进行的参数更新次数会更多，
  17.           因此训练耗时更长。
  18.         2.当然训练耗时也和你所选取的优化算法是全批量梯度下降BGD、随机梯度下降SGD、小批量梯度下降Mini-batch GD(MBGD)有关。
  19.     4.每个批量数据训练都要执行的代码流程
  20.         # 设置优化器初始梯度为0
  21.         optimizer.zero_grad()
  22.         # 模型输入一个批次数据, 获得输出
  23.         output = model(text)
  24.         # 根据真实标签与模型输出计算损失
  25.         loss = criterion(output, label)
  26.         # 将该批次的损失加到总损失中
  27.         train_loss += loss.item()
  28.         # 误差反向传播
  29.         loss.backward()
  30.         # 参数进行更新
  31.         optimizer.step()
  32. """
  33. learning_rate = 0.01
  34. train_ratio = 0.95
  35. N_EPOCHS = 50
  36. BATCH_SIZE = 1000
  37. EMBED_DIM = 32
  38.  
  39. # 进行可用设备检测, 有GPU的话将优先使用GPU
  40. device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
  41.  
  42. # 定义数据下载路径, 当前路径的data文件夹
  43. load_data_path = "./data"
  44. # 如果不存在该路径, 则创建这个路径
  45. if not os.path.isdir(load_data_path):
  46.     os.mkdir(load_data_path)
  47.  
  48. """
  49. 注意：
  50.     因为调用text_classification这个API的话，每次调用都会自动下载，因此修改text_classification其中的源码。
  51.     首先拷贝一份text_classification.py修改为My_text_classification放到自己项目中，
  52.     把所调用的底层中函数中的第一行download_from_url(URLS[dataset_name], root=root) 注释掉
  53. """
  54. # 选取torchtext中的文本分类数据集'AG_NEWS'即新闻主题分类数据, 保存在指定目录下
  55. # 并将数值映射后的训练和验证数据加载到内存中
  56. train_dataset, test_dataset = My_text_classification.DATASETS['AG_NEWS'](root=load_data_path)
  57. # train_dataset, test_dataset = text_classification.DATASETS['AG_NEWS'](root=load_data_path)
  58.  
  59. class TextSentiment(nn.Module):
  60.     def __init__(self, vocab_size, embed_dim, num_class):
  61.         """
  62.         :param vocab_size: 词汇表不重复单词总数，整个语料包含的不同词汇的总数
  63.         :param embed_dim: 指定词嵌入的维度，一个单词的词嵌入维度
  64.         :param num_class: 文本分类的类别总数
  65.         """
  66.         """
  67.         1.EmbeddingBag API官方介绍：
  68.             https://pytorch.org/docs/stable/nn.html?highlight=embeddingbag#torch.nn.EmbeddingBag
  69.         2.torch.nn.EmbeddingBag(num_embeddings, embedding_dim, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, 
  70.                                 mode='mean', sparse=False, _weight=None)
  71.             参数解释：
  72.                 计算嵌入的“bags”的sums或means的方法，而不实例化中间嵌入embeddings。
  73.                 对于长度恒定且无per_sample_weights的bags，该类
  74.                 其中 mode="sum" 等于嵌入 Embedding 后跟 torch.sum(dim=0)
  75.                 其中 mode="mean" 等于嵌入 Embedding 后跟 torch.mean(dim=0)
  76.                 其中 mode="max" 等于嵌入 Embedding 后跟 torch.max(dim=0)
  77.             使用：
  78.                 embedding = nn.EmbeddingBag(vocab_size, embed_dim)  
  79.                 embedding(input, offsets)
  80.             参数解释：    
  81.                 vocab_size: 词汇表不重复单词总数，整个语料包含的不同词汇的总数
  82.                 embed_dim: 指定词嵌入的维度，一个单词的词嵌入维度
  83.                 input：批量样本数据，用于准备输入到Embedding层中进行嵌入张量化
  84.                 offsets：
  85.                     offsets为一维张量，张量中每个值为每个句子头个单词在当前批量样本句子数据中的起始位置。
  86.                     可以通过间接的方式计算出每个句子头个单词在当前批量样本句子数据中的起始位置，
  87.                     首先计算出每个句子的长度，即每个句子中的单词数，然后通过cumsum函数可以计算出每个元素值的累计和，
  88.                     比如[1.0, 2.0, 3.0] 通过cumsum函数计算出结果为[1., 3., 6.]，即每个元素值是第一个元素值到当前元素值的累计和，
  89.                     那么便可以通过这种方式，传入每个句子的长度到cumsum函数计算出每个句子的累计和，
  90.                     那么即得出每个句子在当前批量样本句子数据中的起始位置。
  91.         3.例子
  92.             >>> # vocab_size=10, embed_dim=3
  93.             >>> embedding_sum = nn.EmbeddingBag(10, 3, mode='sum')
  94.             >>> # 一个批量有2个样本，每个样本有4个数值
  95.             >>> input = torch.LongTensor([1,2,4,5, 4,3,2,9])
  96.             >>> #每个句子的头个单词的索引位置，即每个句子头个单词的起始位置
  97.             >>> #offsets必须是1D张量，1D张量中每个值为input中每个bag(样本句子)的起始索引位置
  98.             >>> #因为知道每个样本有4个数值，因此0为第一个句子头个单词的起始位置，4为第二个句子头个单词的起始位置
  99.             >>> offsets = torch.LongTensor([0, 4])
  100.             >>> embedding_sum(input, offsets)
  101.             tensor([[-0.8861, -5.4350, -0.0523],
  102.                     [ 1.1306, -2.5798, -1.0044]])
  103.         """
  104.         super().__init__()
  105.         # 实例化embeddingBag层, sparse=True代表每次对该层求解梯度时, 只更新部分权重.
  106.         self.embedding = nn.EmbeddingBag(vocab_size, embed_dim, sparse=False)
  107.         # 实例化线性层, 参数分别是embed_dim和num_class.
  108.         self.fc = nn.Linear(embed_dim, num_class)
  109.         # 为各层初始化权重
  110.         self.init_weights()
  111.  
  112.     def init_weights(self):
  113.         """初始化权重函数"""
  114.         # 指定初始权重的取值范围数
  115.         initrange = 0.5
  116.         # 各层的权重参数都是初始化为均匀分布
  117.         self.embedding.weight.data.uniform_(-initrange, initrange)
  118.         self.fc.weight.data.uniform_(-initrange, initrange)
  119.         # 偏置初始化为0
  120.         self.fc.bias.data.zero_()
  121.  
  122.     def forward(self, text, offsets):
  123.         '''
  124.         :param text: 批量句子样本的所有单词封装到一个一维张量中
  125.         :param offsets:
  126.             一维张量中的每个值为每个句子头个单词在当前批量样本数据中的起始位置，
  127.             一维张量中的每个值也即是每个句子头个单词在text一维张量中的起始位置。
  128.         :return: 真实类别标签值构成的一维张量，与类别数尺寸相同的张量, 用以判断文本类别
  129.         '''
  130.         # 获得embedding的结果embedded
  131.         embedded = self.embedding(text, offsets)
  132.         # 然后使用relu函数对输出进行处理，根据relu函数的特性, 将使Embedding矩阵更稀疏，以防止过拟合
  133.         # embedded = F.relu(embedded)
  134.         return self.fc(embedded)
  135.  
  136. # 获得整个语料包含的不同词汇总数
  137. VOCAB_SIZE = len(train_dataset.get_vocab())
  138. # 获得类别总数
  139. NUN_CLASS = len(train_dataset.get_labels())
  140. # 实例化模型
  141. model = TextSentiment(VOCAB_SIZE, EMBED_DIM, NUN_CLASS).to(device)
  142.  
  143. def generate_batch(batch):
  144.     '''
  145.     description: 生成batch数据函数
  146.     :param batch: 由样本张量和对应标签的元组组成的batch_size大小的列表
  147.                   形如: [(label1, sample1), (label2, sample2), ..., (labelN, sampleN)]
  148.     :return:样本张量和标签各自的列表形式(张量)
  149.              形如:
  150.              text = tensor([sample1, sample2, ..., sampleN])
  151.              label = tensor([label1, label2, ..., labelN])
  152.     '''
  153.     # 从batch中获得标签张量，批量大小的真是类别标签值构成的一维向量
  154.     label = torch.tensor([entry[0] for entry in batch])
  155.     # 从batch中获得样本张量，批量大小句子样本数据构成的二维矩阵
  156.     text = [entry[1] for entry in batch]
  157.  
  158.     """
  159.     1.计算出offsets(每个句子头在当前批量样本数据中的起始位置，或者说每个句子头个单词在text一维张量中的起始位置)的步骤：
  160.         1.第一步：第一个值必须是0，代表第一个句子头的起始位置，然后第二个值开始才是每个句子的长度值，即计算出每个句子的单词数
  161.         2.第二步：
  162.             通过cumsum函数可以计算出offsets一维张量中每个元素值的累计和，比如[1.0, 2.0, 3.0]通过cumsum函数计算出结果为[1., 3., 6.]。
  163.             那么便可以通过计算累计和的方式 计算出每个句子头个单词在当前批量样本数据中的起始位置。
  164.     2.标签值的计算
  165.         把批量大小的样本真实标签值都封装到一个一维的张量中
  166.     3.样本数据的计算
  167.         首先获取出批量大小的样本句子数据所构建的二维张量，然后把二维张量通过cat函数合并为一维张量，
  168.         即把每个句子的所有单词对应的索引值都合并到一个一维张量中。
  169.     4.样本数据和offsets传入到embedding嵌入层中
  170.         embedding(text, offsets)：可以直接把一维张量的样本数据text 和 一维张量的offsets 传入到embedding嵌入层中
  171.     """
  172.     # 计算出每个句子的单词数，即每个句子的长度，并且offsets的第一个必须为0，后面的值是每个句子的长度
  173.     # 然后通过后面执行的cumsum函数根据offsets一维张量中的每个句子的长度 可以计算 元素的累计和，即可以计算出每个句子的头个单词在当前批量样本句子数据中的索引位置
  174.     offsets = [0] + [len(entry) for entry in text]
  175.     # print(offsets) #[0,。。。,。。。]
  176.     # print(len(offsets)) # 17 即1 + batch size
  177.  
  178.     # torch.Tensor.cumsum 返回dim维度元素的累积和
  179.     # torch.Tensor([1.0, 2.0, 3.0]).cumsum(dim=0) 输出结果为 tensor([1., 3., 6.])，即第二个元素为前两个元素的累计和，第三个元素是前三个元素的累计和
  180.     offsets = torch.tensor(offsets[:-1]).cumsum(dim=0)
  181.     # print("cumsum:",offsets) #每个元素值 是第一个元素到当前元素的累计和，因此就可以计算出每个句子的头个单词在当前批量样本句子数据中的索引位置
  182.  
  183.     #把批量样本数据(batch size个句子的单词索引值) 合并为 一个一维张量
  184.     text = torch.cat(text)
  185.     # print(text.shape) #一维张量的维度，每个张量的维度都不一致
  186.  
  187.     # 返回结果
  188.     return text.to(device), offsets.to(device), label.to(device)
  189.  
  190. # 导入torch中的数据加载器方法
  191. from torch.utils.data import DataLoader
  192.  
  193. def train_func(sub_train_):
  194.     """模型训练函数"""
  195.     # 初始化训练损失和准确率为0
  196.     train_loss = 0
  197.     train_acc = 0
  198.     # 使用数据加载器生成BATCH_SIZE大小的数据进行批次训练
  199.     # data就是N多个generate_batch函数处理后的BATCH_SIZE大小的数据生成器
  200.     # drop_last=True：丢弃不满足批量大小的批量数据，一般会是最后一个批量数据中的样本数可能不满足于批量大小，因此需要丢弃以防止报错
  201.     data = DataLoader(sub_train_, batch_size=BATCH_SIZE, shuffle=True, collate_fn=generate_batch, drop_last=True)
  202.     # collate_fn的输入是大小为batch_size的张量的列表，collate_fn将列表打包进最小批次（mini-batch）
  203.     # 原始数据批次输入的文本条目被打包到一个列表并串联成了一个单独张量作为nn.EmbeddingBag的输入
  204.     # 对data进行循环遍历, 使用每个batch的数据进行参数更新
  205.     for i, (text, offsets, cls) in enumerate(data):
  206.         # 设置优化器初始梯度为0
  207.         optimizer.zero_grad()
  208.         text, offsets, cls = text, offsets, cls
  209.         # 模型输入一个批次数据, 获得输出
  210.         output = model(text, offsets)
  211.         # 根据真实标签与模型输出计算损失
  212.         loss = criterion(output, cls)
  213.         # 将该批次的损失加到总损失中
  214.         train_loss += loss.item()
  215.         # 误差反向传播
  216.         loss.backward()
  217.         # 参数进行更新
  218.         optimizer.step()
  219.         # 将该批次的准确率加到总准确率中
  220.         train_acc += (output.argmax(1) == cls).sum().item()
  221.  
  222.     # 调整优化器学习率
  223.     # scheduler.step()
  224.  
  225.     # 返回本轮训练的平均损失和平均准确率
  226.     return train_loss / len(sub_train_), train_acc / len(sub_train_)
  227.  
  228. def gotest_func(data_):
  229.     """模型验证函数"""
  230.     # 初始化验证损失和准确率为0
  231.     loss = 0
  232.     acc = 0
  233.     # 和训练相同, 使用DataLoader获得训练数据生成器
  234.     data = DataLoader(data_, batch_size=BATCH_SIZE, collate_fn=generate_batch, drop_last=True)
  235.     # 按批次取出数据验证
  236.     for text, offsets, cls in data:
  237.         text, offsets, cls = text.to(device), offsets.to(device), cls.to(device)
  238.         # 验证阶段, 不再求解梯度
  239.         with torch.no_grad():
  240.             # 使用模型获得输出
  241.             output = model(text, offsets)
  242.             # 计算损失
  243.             loss = criterion(output, cls)
  244.             # 将损失和准确率加到总损失和准确率中
  245.             loss += loss.item()
  246.             acc += (output.argmax(1) == cls).sum().item()
  247.     # 返回本轮验证的平均损失和平均准确率
  248.     return loss / len(data_), acc / len(data_)
  249.  
  250. # 导入时间工具包
  251. import time
  252. # 导入数据随机划分方法工具
  253. from torch.utils.data.dataset import random_split
  254. # 定义初始的验证损失
  255. # min_valid_loss = float('inf')
  256. # 选择损失函数, 这里选择预定义的交叉熵损失函数
  257. criterion = torch.nn.CrossEntropyLoss().to(device)
  258. # 选择随机梯度下降优化器
  259. # optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate)
  260. # 选择优化器步长调节方法StepLR, 用来衰减学习率
  261. optimizer = torch.optim.Adam(model.parameters(),lr=learning_rate,betas=(0.9, 0.999), eps=1e-08, weight_decay=0, amsgrad=False)
  262. # scheduler = torch.optim.lr_scheduler.StepLR(optimizer, 1, gamma=0.9)
  263. # 从train_dataset取出0.95作为训练集, 先取其长度
  264. # train_len = int(len(train_dataset) * 0.95)
  265. train_len = int(len(train_dataset) * train_ratio)
  266. # 然后使用random_split进行乱序划分, 得到对应的训练集和验证集
  267. sub_train_, sub_valid_ = random_split(train_dataset, [train_len, len(train_dataset) - train_len])
  268.  
  269. # 开始每一轮训练
  270. for epoch in range(N_EPOCHS):
  271.     # 记录概论训练的开始时间
  272.     start_time = time.time()
  273.     # 调用train和valid函数得到训练和验证的平均损失, 平均准确率
  274.     train_loss, train_acc = train_func(sub_train_)
  275.     valid_loss, valid_acc = gotest_func(sub_valid_)
  276.     # 计算训练和验证的总耗时(秒)
  277.     secs = int(time.time() - start_time)
  278.     # 用分钟和秒表示
  279.     mins = secs / 60
  280.     secs = secs % 60
  281.     # 打印训练和验证耗时，平均损失，平均准确率
  282.     print('Epoch: %d' %(epoch + 1), " | time in %d minutes, %d seconds" %(mins, secs))
  283.     print(f'\tLoss: {train_loss:.4f}(train)\t|\tAcc: {train_acc * 100:.1f}%(train)')
  284.     print(f'\tLoss: {valid_loss:.4f}(valid)\t|\tAcc: {valid_acc * 100:.1f}%(valid)')
  285.  
  286. print('Checking the results of test dataset...')
  287. test_loss, test_acc = gotest_func(test_dataset)
  288. print(f'\tLoss: {test_loss:.4f}(test)\t|\tAcc: {test_acc * 100:.1f}%(test)')
  289.

My_text_classification.py

  1. import logging
  2. import torch
  3. import io
  4. from torchtext.utils import download_from_url, extract_archive, unicode_csv_reader
  5. from torchtext.data.utils import ngrams_iterator
  6. from torchtext.data.utils import get_tokenizer
  7. from torchtext.vocab import build_vocab_from_iterator
  8. from torchtext.vocab import Vocab
  9. from tqdm import tqdm
  10.  
  11. URLS = {
  12.     'AG_NEWS':
  13.         'https://drive.google.com/uc?export=download&id=0Bz8a_Dbh9QhbUDNpeUdjb0wxRms',
  14.     'SogouNews':
  15.         'https://drive.google.com/uc?export=download&id=0Bz8a_Dbh9QhbUkVqNEszd0pHaFE',
  16.     'DBpedia':
  17.         'https://drive.google.com/uc?export=download&id=0Bz8a_Dbh9QhbQ2Vic1kxMmZZQ1k',
  18.     'YelpReviewPolarity':
  19.         'https://drive.google.com/uc?export=download&id=0Bz8a_Dbh9QhbNUpYQ2N3SGlFaDg',
  20.     'YelpReviewFull':
  21.         'https://drive.google.com/uc?export=download&id=0Bz8a_Dbh9QhbZlU4dXhHTFhZQU0',
  22.     'YahooAnswers':
  23.         'https://drive.google.com/uc?export=download&id=0Bz8a_Dbh9Qhbd2JNdDBsQUdocVU',
  24.     'AmazonReviewPolarity':
  25.         'https://drive.google.com/uc?export=download&id=0Bz8a_Dbh9QhbaW12WVVZS2drcnM',
  26.     'AmazonReviewFull':
  27.         'https://drive.google.com/uc?export=download&id=0Bz8a_Dbh9QhbZVhsUnRWRDhETzA'
  28. }
  29.  
  30.  
  31. def _csv_iterator(data_path, ngrams, yield_cls=False):
  32.     tokenizer = get_tokenizer("basic_english")
  33.     with io.open(data_path, encoding="utf8") as f:
  34.         reader = unicode_csv_reader(f)
  35.         for row in reader:
  36.             tokens = ' '.join(row[1:])
  37.             tokens = tokenizer(tokens)
  38.             if yield_cls:
  39.                 yield int(row[0]) - 1, ngrams_iterator(tokens, ngrams)
  40.             else:
  41.                 yield ngrams_iterator(tokens, ngrams)
  42.  
  43.  
  44. def _create_data_from_iterator(vocab, iterator, include_unk):
  45.     data = []
  46.     labels = []
  47.     with tqdm(unit_scale=0, unit='lines') as t:
  48.         for cls, tokens in iterator:
  49.             if include_unk:
  50.                 tokens = torch.tensor([vocab[token] for token in tokens])
  51.             else:
  52.                 token_ids = list(filter(lambda x: x is not Vocab.UNK, [vocab[token]
  53.                                         for token in tokens]))
  54.                 tokens = torch.tensor(token_ids)
  55.             if len(tokens) == 0:
  56.                 logging.info('Row contains no tokens.')
  57.             data.append((cls, tokens))
  58.             labels.append(cls)
  59.             t.update(1)
  60.     return data, set(labels)
  61.  
  62.  
  63. class TextClassificationDataset(torch.utils.data.Dataset):
  64.     """Defines an abstract text classification datasets.
  65.        Currently, we only support the following datasets:
  67.              - AG_NEWS
  68.              - SogouNews
  69.              - DBpedia
  70.              - YelpReviewPolarity
  71.              - YelpReviewFull
  72.              - YahooAnswers
  73.              - AmazonReviewPolarity
  74.              - AmazonReviewFull
  76.     """
  77.  
  78.     def __init__(self, vocab, data, labels):
  79.         """Initiate text-classification dataset.
  81.         Arguments:
  82.             vocab: Vocabulary object used for dataset.
  83.             data: a list of label/tokens tuple. tokens are a tensor after
  84.                 numericalizing the string tokens. label is an integer.
  85.                 [(label1, tokens1), (label2, tokens2), (label2, tokens3)]
  86.             label: a set of the labels.
  87.                 {label1, label2}
  89.         Examples:
  90.             See the examples in examples/text_classification/
  92.         """
  93.  
  94.         super(TextClassificationDataset, self).__init__()
  95.         self._data = data
  96.         self._labels = labels
  97.         self._vocab = vocab
  98.  
  99.     def __getitem__(self, i):
  100.         return self._data[i]
  101.  
  102.     def __len__(self):
  103.         return len(self._data)
  104.  
  105.     def __iter__(self):
  106.         for x in self._data:
  107.             yield x
  108.  
  109.     def get_labels(self):
  110.         return self._labels
  111.  
  112.     def get_vocab(self):
  113.         return self._vocab
  114.  
  115.  
  116. def _setup_datasets(dataset_name, root='.data', ngrams=1, vocab=None, include_unk=False):
  117.     # dataset_tar = download_from_url(URLS[dataset_name], root=root)
  118.  
  119.     # dataset_tar = "./data/ag_news_csv.tar.gz"
  120.     # extracted_files = extract_archive(dataset_tar)
  121.  
  122.     extracted_files =  ['./data/ag_news_csv/train.csv',
  123.                         './data/ag_news_csv/test.csv',
  124.                         './data/ag_news_csv/classes.txt',
  125.                         './data/ag_news_csv/readme.txt']
  126.  
  127.     # print(extracted_files)
  128.     for fname in extracted_files:
  129.         if fname.endswith('train.csv'):
  130.             train_csv_path = fname
  131.         if fname.endswith('test.csv'):
  132.             test_csv_path = fname
  133.  
  134.     if vocab is None:
  135.         logging.info('Building Vocab based on {}'.format(train_csv_path))
  136.         vocab = build_vocab_from_iterator(_csv_iterator(train_csv_path, ngrams))
  137.     else:
  138.         if not isinstance(vocab, Vocab):
  139.             raise TypeError("Passed vocabulary is not of type Vocab")
  140.     logging.info('Vocab has {} entries'.format(len(vocab)))
  141.     logging.info('Creating training data')
  142.     train_data, train_labels = _create_data_from_iterator(
  143.         vocab, _csv_iterator(train_csv_path, ngrams, yield_cls=True), include_unk)
  144.     logging.info('Creating testing data')
  145.     test_data, test_labels = _create_data_from_iterator(
  146.         vocab, _csv_iterator(test_csv_path, ngrams, yield_cls=True), include_unk)
  147.     if len(train_labels ^ test_labels) > 0:
  148.         raise ValueError("Training and test labels don't match")
  149.     return (TextClassificationDataset(vocab, train_data, train_labels),
  150.             TextClassificationDataset(vocab, test_data, test_labels))
  151.  
  152.  
  153. def AG_NEWS(*args, **kwargs):
  154.     """ Defines AG_NEWS datasets.
  155.         The labels includes:
  156.             - 1 : World
  157.             - 2 : Sports
  158.             - 3 : Business
  159.             - 4 : Sci/Tech
  161.     Create supervised learning dataset: AG_NEWS
  163.     Separately returns the training and test dataset
  165.     Arguments:
  166.         root: Directory where the datasets are saved. Default: ".data"
  167.         ngrams: a contiguous sequence of n items from s string text.
  168.             Default: 1
  169.         vocab: Vocabulary used for dataset. If None, it will generate a new
  170.             vocabulary based on the train data set.
  171.         include_unk: include unknown token in the data (Default: False)
  173.     Examples:
  174.         >>> train_dataset, test_dataset = torchtext.datasets.AG_NEWS(ngrams=3)
  176.     """
  177.  
  178.     return _setup_datasets(*(("AG_NEWS",) + args), **kwargs)
  179.  
  180.  
  181. def SogouNews(*args, **kwargs):
  182.     """ Defines SogouNews datasets.
  183.         The labels includes:
  184.             - 1 : Sports
  185.             - 2 : Finance
  186.             - 3 : Entertainment
  187.             - 4 : Automobile
  188.             - 5 : Technology
  190.     Create supervised learning dataset: SogouNews
  192.     Separately returns the training and test dataset
  194.     Arguments:
  195.         root: Directory where the datasets are saved. Default: ".data"
  196.         ngrams: a contiguous sequence of n items from s string text.
  197.             Default: 1
  198.         vocab: Vocabulary used for dataset. If None, it will generate a new
  199.             vocabulary based on the train data set.
  200.         include_unk: include unknown token in the data (Default: False)
  202.     Examples:
  203.         >>> train_dataset, test_dataset = torchtext.datasets.SogouNews(ngrams=3)
  205.     """
  206.  
  207.     return _setup_datasets(*(("SogouNews",) + args), **kwargs)
  208.  
  209.  
  210. def DBpedia(*args, **kwargs):
  211.     """ Defines DBpedia datasets.
  212.         The labels includes:
  213.             - 1 : Company
  214.             - 2 : EducationalInstitution
  215.             - 3 : Artist
  216.             - 4 : Athlete
  217.             - 5 : OfficeHolder
  218.             - 6 : MeanOfTransportation
  219.             - 7 : Building
  220.             - 8 : NaturalPlace
  221.             - 9 : Village
  222.             - 10 : Animal
  223.             - 11 : Plant
  224.             - 12 : Album
  225.             - 13 : Film
  226.             - 14 : WrittenWork
  228.     Create supervised learning dataset: DBpedia
  230.     Separately returns the training and test dataset
  232.     Arguments:
  233.         root: Directory where the datasets are saved. Default: ".data"
  234.         ngrams: a contiguous sequence of n items from s string text.
  235.             Default: 1
  236.         vocab: Vocabulary used for dataset. If None, it will generate a new
  237.             vocabulary based on the train data set.
  238.         include_unk: include unknown token in the data (Default: False)
  240.     Examples:
  241.         >>> train_dataset, test_dataset = torchtext.datasets.DBpedia(ngrams=3)
  243.     """
  244.  
  245.     return _setup_datasets(*(("DBpedia",) + args), **kwargs)
  246.  
  247.  
  248. def YelpReviewPolarity(*args, **kwargs):
  249.     """ Defines YelpReviewPolarity datasets.
  250.         The labels includes:
  251.             - 1 : Negative polarity.
  252.             - 2 : Positive polarity.
  254.     Create supervised learning dataset: YelpReviewPolarity
  256.     Separately returns the training and test dataset
  258.     Arguments:
  259.         root: Directory where the datasets are saved. Default: ".data"
  260.         ngrams: a contiguous sequence of n items from s string text.
  261.             Default: 1
  262.         vocab: Vocabulary used for dataset. If None, it will generate a new
  263.             vocabulary based on the train data set.
  264.         include_unk: include unknown token in the data (Default: False)
  266.     Examples:
  267.         >>> train_dataset, test_dataset = torchtext.datasets.YelpReviewPolarity(ngrams=3)
  269.     """
  270.  
  271.     return _setup_datasets(*(("YelpReviewPolarity",) + args), **kwargs)
  272.  
  273.  
  274. def YelpReviewFull(*args, **kwargs):
  275.     """ Defines YelpReviewFull datasets.
  276.         The labels includes:
  277.             1 - 5 : rating classes (5 is highly recommended).
  279.     Create supervised learning dataset: YelpReviewFull
  281.     Separately returns the training and test dataset
  283.     Arguments:
  284.         root: Directory where the datasets are saved. Default: ".data"
  285.         ngrams: a contiguous sequence of n items from s string text.
  286.             Default: 1
  287.         vocab: Vocabulary used for dataset. If None, it will generate a new
  288.             vocabulary based on the train data set.
  289.         include_unk: include unknown token in the data (Default: False)
  291.     Examples:
  292.         >>> train_dataset, test_dataset = torchtext.datasets.YelpReviewFull(ngrams=3)
  294.     """
  295.  
  296.     return _setup_datasets(*(("YelpReviewFull",) + args), **kwargs)
  297.  
  298.  
  299. def YahooAnswers(*args, **kwargs):
  300.     """ Defines YahooAnswers datasets.
  301.         The labels includes:
  302.             - 1 : Society & Culture
  303.             - 2 : Science & Mathematics
  304.             - 3 : Health
  305.             - 4 : Education & Reference
  306.             - 5 : Computers & Internet
  307.             - 6 : Sports
  308.             - 7 : Business & Finance
  309.             - 8 : Entertainment & Music
  310.             - 9 : Family & Relationships
  311.             - 10 : Politics & Government
  313.     Create supervised learning dataset: YahooAnswers
  315.     Separately returns the training and test dataset
  317.     Arguments:
  318.         root: Directory where the datasets are saved. Default: ".data"
  319.         ngrams: a contiguous sequence of n items from s string text.
  320.             Default: 1
  321.         vocab: Vocabulary used for dataset. If None, it will generate a new
  322.             vocabulary based on the train data set.
  323.         include_unk: include unknown token in the data (Default: False)
  325.     Examples:
  326.         >>> train_dataset, test_dataset = torchtext.datasets.YahooAnswers(ngrams=3)
  328.     """
  329.  
  330.     return _setup_datasets(*(("YahooAnswers",) + args), **kwargs)
  331.  
  332.  
  333. def AmazonReviewPolarity(*args, **kwargs):
  334.     """ Defines AmazonReviewPolarity datasets.
  335.         The labels includes:
  336.             - 1 : Negative polarity
  337.             - 2 : Positive polarity
  339.     Create supervised learning dataset: AmazonReviewPolarity
  341.     Separately returns the training and test dataset
  343.     Arguments:
  344.         root: Directory where the datasets are saved. Default: ".data"
  345.         ngrams: a contiguous sequence of n items from s string text.
  346.             Default: 1
  347.         vocab: Vocabulary used for dataset. If None, it will generate a new
  348.             vocabulary based on the train data set.
  349.         include_unk: include unknown token in the data (Default: False)
  351.     Examples:
  352.        >>> train_dataset, test_dataset = torchtext.datasets.AmazonReviewPolarity(ngrams=3)
  354.     """
  355.  
  356.     return _setup_datasets(*(("AmazonReviewPolarity",) + args), **kwargs)
  357.  
  358.  
  359. def AmazonReviewFull(*args, **kwargs):
  360.     """ Defines AmazonReviewFull datasets.
  361.         The labels includes:
  362.             1 - 5 : rating classes (5 is highly recommended)
  364.     Create supervised learning dataset: AmazonReviewFull
  366.     Separately returns the training and test dataset
  368.     Arguments:
  369.         root: Directory where the dataset are saved. Default: ".data"
  370.         ngrams: a contiguous sequence of n items from s string text.
  371.             Default: 1
  372.         vocab: Vocabulary used for dataset. If None, it will generate a new
  373.             vocabulary based on the train data set.
  374.         include_unk: include unknown token in the data (Default: False)
  376.     Examples:
  377.         >>> train_dataset, test_dataset = torchtext.datasets.AmazonReviewFull(ngrams=3)
  379.     """
  380.  
  381.     return _setup_datasets(*(("AmazonReviewFull",) + args), **kwargs)
  382.  
  383.  
  384. DATASETS = {
  385.     'AG_NEWS': AG_NEWS,
  386.     'SogouNews': SogouNews,
  387.     'DBpedia': DBpedia,
  388.     'YelpReviewPolarity': YelpReviewPolarity,
  389.     'YelpReviewFull': YelpReviewFull,
  390.     'YahooAnswers': YahooAnswers,
  391.     'AmazonReviewPolarity': AmazonReviewPolarity,
  392.     'AmazonReviewFull': AmazonReviewFull
  393. }
  394.  
  395.  
  396. LABELS = {
  397.     'AG_NEWS': {1: 'World',
  398.                 2: 'Sports',
  399.                 3: 'Business',
  400.                 4: 'Sci/Tech'},
  401.     'SogouNews': {1: 'Sports',
  402.                   2: 'Finance',
  403.                   3: 'Entertainment',
  404.                   4: 'Automobile',
  405.                   5: 'Technology'},
  406.     'DBpedia': {1: 'Company',
  407.                 2: 'EducationalInstitution',
  408.                 3: 'Artist',
  409.                 4: 'Athlete',
  410.                 5: 'OfficeHolder',
  411.                 6: 'MeanOfTransportation',
  412.                 7: 'Building',
  413.                 8: 'NaturalPlace',
  414.                 9: 'Village',
  415.                 10: 'Animal',
  416.                 11: 'Plant',
  417.                 12: 'Album',
  418.                 13: 'Film',
  419.                 14: 'WrittenWork'},
  420.     'YelpReviewPolarity': {1: 'Negative polarity',
  421.                            2: 'Positive polarity'},
  422.     'YelpReviewFull': {1: 'score 1',
  423.                        2: 'score 2',
  424.                        3: 'score 3',
  425.                        4: 'score 4',
  426.                        5: 'score 5'},
  427.     'YahooAnswers': {1: 'Society & Culture',
  428.                      2: 'Science & Mathematics',
  429.                      3: 'Health',
  430.                      4: 'Education & Reference',
  431.                      5: 'Computers & Internet',
  432.                      6: 'Sports',
  433.                      7: 'Business & Finance',
  434.                      8: 'Entertainment & Music',
  435.                      9: 'Family & Relationships',
  436.                      10: 'Politics & Government'},
  437.     'AmazonReviewPolarity': {1: 'Negative polarity',
  438.                              2: 'Positive polarity'},
  439.     'AmazonReviewFull': {1: 'score 1',
  440.                          2: 'score 2',
  441.                          3: 'score 3',
  442.                          4: 'score 4',
  443.                          5: 'score 5'}
  444. }

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/article/detail/46918
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号