devbox
花生_TL007
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

NLP-新闻主题分类任务_主题分类数据集

作者：花生_TL007 | 2024-03-31 12:17:31

赞

踩

主题分类数据集

在看黑马的NLP的实践项目AI深度学习自然语言处理NLP零基础入门，可能由于版本的原因，完全按照课上的来无法运行，就参考实现了一遍，在这记录一下。

目录

1.用到的包

2.新闻主题分类数据

3.处理数据集

4.构建模型

 5.训练

5.1.generate_batch

5.2.训练 & 验证函数

 5.3.主流程

windows系统，jupyter notebook，torch：1.11.0+cu113

1.用到的包

  1. import torch
  2. import torchtext
  3. import os
  4. from keras.preprocessing.text import Tokenizer
  5. from keras.preprocessing import sequence
  6. import string
  7. import re
  8. import numpy as np
  9. import torch.nn as nn
  10. import torch.nn.functional as F
  11. from torch.utils.data.dataset import random_split
  12. import time
  13. from torch.utils.data import DataLoader

2.新闻主题分类数据

这边按课程的会报错，去网上查了torchtext.datasets.AG_NEWS，但是奇怪的是，看网上的资料会下载数据，我这边电脑里没有数据，不过代码能读到数据，也就没管数据下载不下来的问题了。

  1. load_data_path = "../data"
  2.  
  3. if not os.path.isdir(load_data_path):
  4.     os.mkdir(load_data_path)
  5.     
  6. train_dataset, test_dataset = torchtext.datasets.AG_NEWS(
  7.     root='../data/', split=('train', 'test'))

看一下数据：一个样本是一个元组，第一个元素是int类型，表示label，第二个是str类型

 数据基本信息：

训练集有120000个样本，标签是共有4个取值：1，2，3，4。各类标签在训练集测试集分布比较均匀。

3.处理数据集

功能：1.将\替换成空格（即将其两边的单词拆分成两个单词），将所有字母转换成小写。2.将label转换成[0,3]。3.句子长度截取

  1. punct  = str.maketrans('','',string.punctuation)
  2. def process_datasets_by_Tokenizer(train_dataset, test_dataset, seq_len=200):
  3.     """
  4.     参数:
  5.     train_dataset: 训练样本列表list(tuple(int, str))
  6.     返回：
  7.     train_dataset: 训练集列表list(tuple(tensor, int))
  8.     """
  9.     tokenizer = Tokenizer()
  10.     train_dataset_texts, train_dataset_labels = [], []
  11.     test_dataset_texts, test_dataset_labels = [], []
  12.     
  13.     for label, text in train_dataset:
  14.         # 前面的打印可以看到，存在\\这种，这边替换成空格，并所有的均为小写字母
  15.         train_dataset_texts.append(text.replace('\\',' ').translate(punct).lower())
  16.         train_dataset_labels.append(label - 1)  # 将标签映射到[0,3]
  17.         
  18.     for label, text in test_dataset:
  19.         test_dataset_texts.append(text.replace('\\',' ').translate(punct).lower())
  20.         test_dataset_labels.append(label - 1)
  21.     
  22.     # 这边图省事，把训练集测试集合在一起构建词表，这样就不存在未登录词了
  23.     all_dataset_texts = train_dataset_texts + test_dataset_texts
  24.     all_dataset_labels = train_dataset_labels + test_dataset_labels
  25.     tokenizer.fit_on_texts(all_dataset_texts)
  26.     
  27.     # train_dataset_seqs 是一个列表，其中的每一个元素是 将句子由文本表示 变换成 词表中的索引表示的列表
  28.     train_dataset_seqs = tokenizer.texts_to_sequences(train_dataset_texts)
  29.     test_datase_seqs = tokenizer.texts_to_sequences(test_dataset_texts)
  30. #     print(type(train_dataset_seqs), type(train_dataset_seqs[0]))  # <class 'list'> <class 'list'>
  31. #     print(train_dataset_seqs)
  32.     
  33.     # 截取前seq_len个，不足后面补0
  34.     # train_dataset_seqs是一个tensor，size:(样本数目, seq_len)
  35.     train_dataset_seqs = torch.tensor(sequence.pad_sequences(
  36.         train_dataset_seqs, seq_len, padding='post'), dtype=torch.int32)
  37.     test_datase_seqs = torch.tensor(sequence.pad_sequences(
  38.         test_datase_seqs, seq_len, padding='post'), dtype=torch.int32)
  39. #     print(type(train_dataset_seqs), type(train_dataset_seqs[0]))  # <class 'torch.Tensor'> <class 'torch.Tensor'>
  40. #     print(train_dataset_seqs)
  41.     
  42.     train_dataset = list(zip(train_dataset_seqs, train_dataset_labels))
  43.     test_dataset = list(zip(test_datase_seqs, test_dataset_labels))
  44.     
  45.     vocab_size = len(tokenizer.index_word.keys())
  46.     num_class = len(set(all_dataset_labels))
  47.     return train_dataset, test_dataset, vocab_size, num_class
  48.  
  49.  
  50. embed_dim = 16  # 大概9w个词，这边embedding维度射为16
  51. batch_size = 64
  52. seq_len = 50  #  句子长度取50就能覆盖90%以上的样本
  53.  
  54. train_dataset, test_dataset, vocab_size, num_class = process_datasets_by_Tokenizer(
  55.     train_dataset, test_dataset, seq_len=seq_len)
  56.  
  57. print(train_dataset[:2])
  58. print("vocab_size = {}, num_class = {}".format(vocab_size, num_class))
[(tensor([  393,   395,  1571, 14750,   100,    54,     1,   838,    23,    23,
        41233,   393,  1973, 10474,  3348,     4, 41234,    34,  3999,   763,
          295,     0,     0,     0,     0,     0,     0,     0,     0,     0,
            0,     0,     0,     0,     0,     0,     0,     0,     0,     0,
            0,     0,     0,     0,     0,     0,     0,     0,     0,     0],
       dtype=torch.int32), 2), (tensor([15798,  1041,   824,  1259,  4230,    23,    23,   898,   770,   305,
        15798,    87,    90,    21,     3,  4444,     8,   537, 41235,     6,
        15799,  1459,  2085,     5,     1,   490,   228,    21,  3877,  2345,
           14,  6498,     7,   185,   333,     4,     1,   112,     0,     0,
            0,     0,     0,     0,     0,     0,     0,     0,     0,     0],
       dtype=torch.int32), 2)]
vocab_size = 91629, num_class = 4

将注释掉的4条print语句打开，我们测试一下代码：

  1. train = [(1, 'The moon is light'),
  2.         (2, 'This is the last rose of summer')]
  3. test = train[:]
  4. train, test, sz, cls = process_datasets_by_Tokenizer(train, test, seq_len=5)
  5. train, test, sz, cls

得到输出：

 分析了一下样本中句子的长度：其中超过90%的句子长度都不超过50，故后续截取50个单词。

4.构建模型

模型结构简单：embedding层 + 平均池化层 + 全连接层

  1. class TextSentiment(nn.Module):
  2.     """文本分类模型"""
  3.     def __init__(self, vocab_size, embed_dim, num_class, seq_len):
  4.         """
  5.         description: 类的初始化函数
  6.         :param vocab_size: 整个语料包含的不同词汇总数
  7.         :param embed_dim: 指定词嵌入的维度
  8.         :param num_class: 文本分类的类别总数
  9.         """ 
  10.         super(TextSentiment, self).__init__()
  11.         
  12.         self.seq_len = seq_len
  13.         self.embed_dim = embed_dim
  14.         
  15.         # 实例化embedding层, sparse=True代表每次对该层求解梯度时, 只更新部分权重.
  16.         self.embedding = nn.Embedding(vocab_size, embed_dim, sparse=True)
  17.         # 实例化线性层, 参数分别是embed_dim和num_class.
  18.         self.fc = nn.Linear(embed_dim, num_class)
  19.         # 为各层初始化权重
  20.         self.init_weights()
  21.         
  22.     def init_weights(self):
  23.         """初始化权重函数"""
  24.         # 指定初始权重的取值范围数
  25.         initrange = 0.5
  26.         # 各层的权重参数都是初始化为均匀分布
  27.         self.embedding.weight.data.uniform_(-initrange, initrange)
  28.         self.fc.weight.data.uniform_(-initrange, initrange)
  29.         # 偏置初始化为0
  30.         self.fc.bias.data.zero_()
  31.         
  32.     def forward(self, text):
  33.         """
  34.         :param text: 文本数值映射后的结果
  35.         :return: 与类别数尺寸相同的张量, 用以判断文本类别
  36.         """
  37.         # [batch_size, seq_len, embed_dim]
  38.         embedded = self.embedding(text)  
  39.         # [batch_size, embed_dim, seq_len]，
  40.         # 后续将句子所在的维度做pooling，所以将句子所在维度放到最后面
  41.         embedded = embedded.transpose(2, 1) # 句子所在维度由原先的第二维变成第三维
  42.         # [batch_size, embed_dim, 1] 
  43.         embedded = F.avg_pool1d(embedded, kernel_size=self.seq_len)
  44.         # [embed_dim, batch_size] 
  45.         embedded = embedded.squeeze(-1)
  46.         # [batch_size, embed_dim]
  47.         # 看到torch.nn.CrossEntropyLoss()自带了softmax，所以这边不再套softmax
  48.         return self.fc(embedded)

 5.训练

5.1.generate_batch

generate_batch：构建一个批次内的数据，后续作为DataLoader函数的参数传入

  1. def generate_batch(batch):
  2.     """[summary]
  4.     Args:
  5.         batch ([type]): [description] 由样本张量和对应标签的元祖 组成的 batch_size 大小的列表
  6.             [(sample1, label1), (sample2, label2), ..., (samplen, labeln)]
  7.     :return 样本张量和标签各自的列表形式(Tensor)
  8.     """
  9.     text = [entry[0].reshape(1, -1) for entry in batch]
  10. #     print(text)
  11.     label = torch.tensor([entry[1] for entry in batch])
  12.     text = torch.cat(text, dim=0)
  13.     
  14.     return torch.tensor(text), torch.tensor(label)

我们测试一下这段的效果：

  1. batch = [(torch.tensor([3, 23, 2, 8]), 1), (torch.tensor([3, 45, 21, 6]), 0)]
  2. res = generate_batch(batch)
  3. print(res, res[0].size())

输出：

5.2.训练 & 验证函数

  1. device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
  2. def run(data, batch_size, model, criterion, 
  3.         mode='train', optimizer=None, scheduler=None):
  4.     total_loss, total_acc = 0., 0.
  5.     
  6.     shuffle = False
  7.     if mode == 'train':
  8.         shuffle = True
  9.     data = DataLoader(data, batch_size=batch_size, shuffle=shuffle,
  10.                      collate_fn=generate_batch)
  11.  
  12.     for i, (text, label) in enumerate(data):
  13. #         text = text.to(device)  # gpu版本
  14. #         label = label.to(device)
  15.         sz = text.size(0)
  16.         if mode == 'train':
  17.             optimizer.zero_grad()
  18.             output = model(text)
  19.             loss = criterion(output, label)
  20.             # 累计批次平均，参照蓄水池抽样算法
  21.             total_loss = i / (i + 1) * total_loss + loss.item() / sz / (i + 1)
  22.             loss.backward()
  23.             optimizer.step()
  24. #             predict = F.softmax(output, dim=-1)
  25.             correct_cnt = (output.argmax(1) == label).sum().item()
  26.             total_acc = i / (i + 1) * total_acc + correct_cnt / sz / (i + 1)
  27.         else:
  28.             with torch.no_grad():
  29.                 output = model(text)
  30.                 loss = criterion(output, label)
  31.                 total_loss = i / (i + 1) * total_loss + loss.item() / sz / (i + 1)
  32. #                 predict = F.softmax(output, dim=-1)
  33.                 correct_cnt = (output.argmax(1) == label).sum().item()
  34.                 total_acc = i / (i + 1) * total_acc + correct_cnt / sz / (i + 1)
  35.         
  36. #         if i % 10 == 0:
  37. #             print("i: {}, loss: {}".format(i, total_loss))
  38.     
  39.      # 调整优化器学习率
  40.     if (scheduler):
  41.         scheduler.step()
  42. #     print(total_loss, total_acc, total_loss / count, total_acc / count, count)
  43.     return total_loss , total_acc

 5.3.主流程

  1. model = TextSentiment(vocab_size + 1, embed_dim, num_class, seq_len)
  2. # model = TextSentiment(vocab_size + 1, embed_dim, num_class, seq_len).to(device) # gpu版本
  3.  
  4. criterion = torch.nn.CrossEntropyLoss()  # 自带了softmax
  5. optimizer = torch.optim.SGD(model.parameters(), lr=0.1)
  6. scheduler = torch.optim.lr_scheduler.StepLR(optimizer, 1, gamma=0.99)
  7.  
  8. train_len = int(len(train_dataset) * 0.95)
  9. sub_train_, sub_valid_ = random_split(train_dataset, 
  10.                                       [train_len, len(train_dataset) - train_len])
  11. n_epochs = 10
  12. for epoch in range(n_epochs):
  13.     start_time = time.time()
  14.     train_loss, train_acc = run(sub_train_, batch_size, model, criterion, 
  15.         mode='train', optimizer=optimizer, scheduler=scheduler)
  16.     
  17.     valid_loss, valid_acc = run(sub_train_, batch_size, model, criterion, mode='validation')
  18.     
  19.     secs = int(time.time() - start_time)
  20.     mins = secs / 60
  21.     secs = secs % 60
  22.     
  23.     print("Epoch: %d" % (epoch + 1),
  24.           " | time in %d minutes, %d seconds" % (mins, secs))
  25.     print(
  26.         f"\tLoss: {train_loss:.4f}(train)\t|\tAcc: {train_acc * 100:.1f}%(train)"
  27.     )
  28.     print(
  29.         f"\tLoss: {valid_loss:.4f}(valid)\t|\tAcc: {valid_acc * 100:.1f}%(valid)"
  30.     )

打印结果如下：

本文内容由网友自发贡献，转载请注明出处：https://www.wpsshop.cn/w/花生_TL007/article/detail/344597
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号