昇思25天学习打卡营第八天|应用实践/自然语言处理/LSTM+CRF序列标注

心得

图形图像的算法终于学结束了。开始新的课程了。训练时间是否可以缩短了呢？课程实操表示，确实如此。

每个课程的老师，似乎是不同的，上次发现是变量定义的习惯，这次发现是数学公式的写法。进过这段时间的学习。自己的体会是：模型是一个网络状的结构，有若干节点，以及节点之间的连接线组成。而每个节点，还是基于传统算法的函数。学好AI，既要学好新的网络结构，又离不开传统算法的基础。甚至于更难？

吐槽，或者说困惑，粘贴过来的数学公式，格式不完整不说，居然粘贴了2次？只好截图了？

再次求留言评论，哪怕是骂一下也好。

打卡截图

LSTM+CRF序列标注

 

 

概述

序列标注指给定输入序列，给序列中每个Token进行标注标签的过程。序列标注问题通常用于从文本中进行信息抽取，包括分词(Word Segmentation)、词性标注(Position Tagging)、命名实体识别(Named Entity Recognition, NER)等。以命名实体识别为例：

如上表所示，清华大学 和 北京是地名，需要将其识别，我们对每个输入的单词预测其标签，最后根据标签来识别实体。

这里使用了一种常见的命名实体识别的标注方法——“BIOE”标注，将一个实体(Entity)的开头标注为B，其他部分标注为I，非实体标注为O。

条件随机场(Conditional Random Field, CRF)

从上文的举例可以看到，对序列进行标注，实际上是对序列中每个Token进行标签预测，可以直接视作简单的多分类问题。但是序列标注不仅仅需要对单个Token进行分类预测，同时相邻Token直接有关联关系。以清华大学一词为例:

如上表所示，正确的实体中包含的4个Token有依赖关系，I前必须是B或I，而错误输出结果将清字标注为O，违背了这一依赖。将命名实体识别视为多分类问题，则每个词的预测概率都是独立的，易产生类似的问题，因此需要引入一种能够学习到此种关联关系的算法来保证预测结果的正确性。而条件随机场是适合此类场景的一种概率图模型。下面对条件随机场的定义和参数化形式进行简析。

考虑到序列标注问题的线性序列特点，本节所述的条件随机场特指线性链条件随机场(Linear Chain CRF)

设 本文内容由网友自发贡献，转载请注明出处：https://www.wpsshop.cn/w/知新_RL/article/detail/961575