当前位置:   article > 正文

使用bert-as-server获取句子embedding_bert-base-chinese 如何语句的 emmbding

bert-base-chinese 如何语句的 emmbding

需求场景

由于最近一直在处理nlp任务,为了提高模型的泛化性,经常使用bert预训练模型在下游任务微调,但是在实际测试中发现,由于训练数据量不大,bert层参数的固定与否对最终结果的精度影响并不大.
为了方便,想着将bert只用作固定的embedding,后续的所有Nlp任务都可基于embedding建模,后面可接全连接接层,cnn,blstm,crf等.
最方便的方法就是将Bert作为一个微服务部署在服务器,该服务返回句子embedding后的结果,具体可以为bert最后一层向量,包括cls、及每个字符对应的embedding向量。分类任务就可以使用cls向量或者每个字符向量的平均/加和作为句向量,后面接个softmax层。ner的话就取每个字符向量后面可接crf或者blstm+crf。
本来的想法是使用tf servering部署,后来调研了一下,发现有现成做好的bert-as-service(膜拜大佬),git链接,就偷懒直接拿来用了。
具体怎么部署git上写的都十分详细。

bert-as-service使用简介

安装
pip install bert-serving-server  # server
pip install bert-serving-client  # client, independent of `bert-serving-server`
  • 1
  • 2
启动服务

启动之前你得先下个bert预训练模型&

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/371127?site
推荐阅读
相关标签
  

闽ICP备14008679号