BERT入门（tensorflow）_tensorflow bert

一、前言

适逢寒假，刚刚分手，又一个寒冷的冬天。

在家无聊，Chatgpt最近蛮火的，便开始学习了一下NLP，接触到了BERT。

这篇博客将讲一讲我从零到跑通中文文本相似度计算的过程。

只是想使用BERT的话直接跳转到五

二、BERT简介

对于BERT的原理，其他博主已经做了许多介绍，并且十分详尽。
在这里略述一些作为入门

BERT是一种预训练语言模型（pre-trained language model, PLM），其全称是Bidirectional Encoder Representations from Transformers。

• 语言模型：对于任意的词序列，它能够计算出这个序列是一句话的概率。比如词序列A：“知乎|的|文章|真|水|啊”，这个明显是一句话，一个好的语言模型也会给出很高的概率，再看词序列B：“知乎|的|睡觉|苹果|好快”，这明显不是一句话，如果语言模型训练的好，那么序列B的概率就很小很小。
  下面给出较为正式的定义:

假设我们要为中文创建一个语言模型，$V$表示词典， V = { 猫 , 狗 , 机器 , 学习 , 语言 , 模型 , … } V=\{ 猫,狗,机器,学习,语言,模型,…\} V={猫,狗,机器,学习,语言,模型,…}，$w_i\in V$
语言模型就是这样一个模型：给定词典$V$，能够计算出任意单词序列 $w_1,w_2,...,w_n$，是一句话的概率 $p(w_1,w_2,...,w_n)$其中，$p>=0，p>=0，p>=0$

——以上摘自 语言模型的概念

• 预训练：预训练是一种迁移学习的概念。所谓预训练模型，举个例子，假设我们有大量的维基百科数据，那么我们可以用这部分巨大的数据来训练一个泛化能力很强的模型，当我们需要在特定场景使用时，例如做医学命名实体识别，那么，只需要简单的修改一些输出层，再用我们自己的数据进行一个增量训练，对权重进行一个轻微的调整即可。预训练语言模型有很多，典型的如ELMO、GPT、BERT等。
• Transformer
  Bert是基于Transformer实现的，BERT中包含很多Transformer模块，其取得成功的一个关键因素是Transformer的强大作用。
  Transformer可以理解为一个神经网络模块，模块内部有其复杂的网络结构，我们可以暂且将其视为黑盒，这并不影响对Bert的理解。总之，这个模块通过自注意力机制实现快速并行，改进了RNN最被人诟病的训练慢的缺点，并且可以增加到非常深的深度，充分发掘DNN模型的特性，提升模型准确率。
  BERT的原理一层层深究下去是这样的：【BERT】–【Transformer】–【self-attention】–【attention机制】–【seq2seq】

三、准备工作

1、下载

• 下载goole-bert：https://github.com/google-research/bert
• 下载anaconda: https://www.anaconda.com/products/distribution#macos
• 下载pycharm：https://www.jetbrains.com/pycharm/download/#section=windows

2、conda换源

在anaconda prompt 里执行：

conda config --set show_channel_urls yes
1

在用户目录下建立了.condarc文件，地址为C:\Users(你的用户名).condarc添加清华源

channels:
 - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
 - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
 - http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
show_channel_urls: true
1
2
3
4
5

四、anaconda安装tensorflow

• 根据goole代码的requirements，安装了tehsorflow1.15.0版本，对应python版本为3.6,keras版本为2.3.1

1、建立tensorflow虚拟环境

conda create -n tensorflow1.15.0 python=3.6
1

2、安装tensorflow

这里安装的是CPU版本，GPU版本可以自行探索，也比较容易

conda activate tensorflow1.15.0
conda install tensorflow==1.15.0
conda install keras==2.3.1
pip install tensorflow_hub -i http://mirrors.aliyun.com/pypi/simple/
conda install jieba
1
2
3
4
5

到此，在pycharm里使用conda环境中tensorflow的python作为解释器，就可以跑通bert的代码了

五、计算文本相似度

1、安装bert-as-servic

在anaconda prompt中进入BERT项目的文件目录
输入：

pip install bert-serving-server 
 
pip install bert-serving-client 
1
2
3

2、下载模型

• 可以到Pre-Training with Whole Word Masking for Chinese BERT（中文BERT-wwm系列模型）下载所需模型

• 我使用的是BERT-wwm, Chinese，下载链接为tensorflow中文维基https://drive.google.com/file/d/1RoTQsXp2hkQ1gSRVylRIJfQxJUgkfJMW/view

3、启动bert

我把上面下载的中文预训练模型放置在D:\迅雷下载\bert-master\bert-master\model\chinese_wwm_L-12_H-768_A-12

此时需要在命令行中输入

bert-serving-start -model_dir D:\迅雷下载\bert-master\bert-master\model\chinese_wwm_L-12_H-768_A-12 -num_worker=2
1

出现下图界面则表示成功

4、使用预训练词向量（中文测试）

启动bert-serving之后，在pycharm中新建一个python文件，输入以下代码

from bert_serving.client import BertClient
import numpy as np


def main():
    bc = BertClient()
    doc_vecs = bc.encode(['今天天空很蓝，阳光明媚', '今天天气好晴朗', '现在天气如何', '自然语言处理', '机器学习任务'])

    print(doc_vecs)
    print(cos_similar(doc_vecs[0],doc_vecs[1]))
def cos_similar(sen_a_vec, sen_b_vec):
    '''
    计算两个句子的余弦相似度
    '''
    vector_a = np.mat(sen_a_vec)
    vector_b = np.mat(sen_b_vec)
    num = float(vector_a * vector_b.T)
    denom = np.linalg.norm(vector_a) * np.linalg.norm(vector_b)
    cos = num / denom
    return cos

if __name__ == '__main__':
    main()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

控制台输出

前四个列表为这五个文本的768维的词向量，0.9508826990924573为文本0和文本1的相似度

六、一些报错

1、报错ImportError: cannot import name ‘abs’

• 原因：tensoflow与protobuf的版本不匹配
• 解决：删除环境重新安装

2、报错No module named ‘tensorflow_hub’

• 原因：没有安装tensorflow_hub
• 解决：pip install tensorflow_hub -i http://mirrors.aliyun.com/pypi/simple/

3、报错ImportError: cannot import name ‘trace‘

• 原因：tensorflow与tensorflow-estimator的版本不一致
• 解决：重新pip安装tensorflow-estimator对应版本

4、一些小坑

• 在conda中，因为换过源，所以在用conda安装一些包时不需要-i http://XXX进行换源。但如果是用pip进行安装，则需要用-i选择自己想要的国内镜像源

• • 阿里云 http://mirrors.aliyun.com/pypi/simple/
• • 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
• • 豆瓣(douban) http://pypi.douban.com/simple/
• • 清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/
• • 中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/

5、报错InternalError (see above for traceback): Blas GEMM launch failed

• 这个对于个人电脑来说，一般是显存爆了，就…换电脑吧。

6、报错from typing import OrderedDict ImportError: cannot import name ‘OrderedDict‘ from ‘typing‘

• 这个引用一下我很佩服的一个老哥的文章，文章地址https://blog.csdn.net/qq_41368074/article/details/119491483

七、结尾

写到这也要吃饭了，哎，生活还得过下去…

加油，平凡但为生活而努力的你我！