当前位置:   article > 正文

bert简介_Google 最强开源模型 BERT 在 NLP 中的应用 | 技术头条

google bert api

ebb7ff0ae9189a6d5307f4533d570ccd.gif

913f351980c1d7beb6723996199ba708.png

作者 | 董文涛

责编 | 唐小引

出品 | CSDN(ID:CSDNnews)

【CSDN 编者按】Google 的 BERT 模型一经发布便点燃了 NLP 各界的欢腾,Google Brain 的资深研究科学家 Thang Luong 曾给出其“开启了 NLP 新时代”的高度定义,国内外许多公司及开发者对其进行了研究及应用,本文作者及其团队对 BERT 进行了应用探索。

随着 Google 推出的 BERT 模型在多种 NLP 任务上取得 SOTA,NLP 技术真正进入了大规模应用阶段,由此,我们展开了对 BERT 的探索。

fa253f5b2ac750caef0433779b6b58ea.png

2d4f543377afede9b92633749c653676.png

训练模型

  • 训练数据

训练其他模型时我们已经标注了大量的训练数据,主要把相似句对分为三类来标注:

不相似(0)、相关(0.5)、相似(1)

所以,训练 BERT 模型时就可以“拿来主义”了。

  • 模型修改

我们的主要应用点是相似度计算,期望模型返回的结果是一个概率(分值)而不是每个类别的概率。当然如果模型给的结果是每一个类别的概率,依然可以通过加权

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/weixin_40725706/article/detail/312300
推荐阅读
相关标签
  

闽ICP备14008679号