BERT 预训练学习（数据：样本构建、输入格式；算法：transformer、mlm和nsp任务）_tensorflow bertmlm训练

任务：MLM完形填空、下一句预测
数据：构建样本数据及label，输入格式
1
2

参考：

1）**https://github.com/DA-southampton/TRM_tutorial/tree/main/BERT%E4%BB%A3%E7%A0%81%E4%BB%8E%E9%9B%B6%E8%A7%A3%E8%AF%BB
2）
**https://github.com/bojone/bert4keras/tree/master/pretraining

3）**https://zhuanlan.zhihu.com/p/419171690

4）https://github.com/MorvanZhou/NLP-Tutorials/blob/master/BERT.py

另外也可以参考transformers库的预训练代码：

5）https://github.com/huggingface/transformers/tree/master/examples/pytorch/language-modeling