Transformers 转换Tensorflow的Checkpoints | 九_transformer.bertfromsequence加载checkpoint

作者|huggingface 编译|VK 来源|Github

提供了一个命令行界面来转换模型中的原始Bert/GPT/GPT-2/Transformer-XL/XLNet/XLM的Checkpoints，然后使用库的from_pretrained方法加载该Checkpoints。

注意：从2.3.0版本开始，转换脚本现在已成为 transformers CLI(transformers-cli)的一部分,在任何transformers=2.3.0的都可用。以下文档反映了transformers-cli convert命令格式。

BERT

你可以通过使用convert_tf_checkpoint_to_pytorch.py将任意的BERT的Tensorflow的Checkpoints转换为PyTorch格式(特别是由Google发布的预训练模型(https://github.com/google-research/bert#pre-trained-models))

此CLI将TensorFlow checkpoints(三个以bert_model.ckpt开头的文件)和关联的配置文件(bert_config.json)作为输入，并为此配置创建PyTorch模型，并加载在PyTorch模型中从TensorFlow checkpoints进行权重计算，然后将生成的模型保存到标准PyTorch格式文件中，该文件可以使用torch.load()导入(请参阅run_bert_extract_features.py, run_bert_classifier.py and run_bert_squad.py的示例)。

你只需一次运行此转换脚本即可获得