自然语言处理（NLP）：15 seq2seq+attention图解原理＋论文剖析(01)_nlp论文剖析

专注于文本分类、关键词抽取、文本摘要、FAQ问答系统、对话系统语义理解NLU、知识图谱等。结合工业界具体案例和学术界最新研究成果实现NLP技术场景落地。更多精彩内容加入“NLP技术交流群” 学习。

从BERT模型横空出世以后，通过预训练模型在NLP 领域的使用得到了快速的发展并且取得了非常好的效果。然而理解BERT 之前我们需要掌握大量知识。这里给大家一个学习路线：
bert<-transformer<-self-attention<-attention<-seq2seq。本章节重点　seq2seq 和　attention 机制。
作者：走在前方

本次主要分享内容如下

• seq2seq 入门
  • 什么是seq2seq
  • seq2seq 结构
  • Encoder-Decoder 应用场景（文本－文本、音频－文本、图片－文本）
• Attention可视化演示
  • 加深seq2seq、attention理解，通过多个可视化的效果来理解attention机制
• Attention机制论文
  • Attention发展历史（带领大家看几篇重要的论文）
  • Attention计算得分方法（论文中重点提到计算attention的方法）

seq2seq 入门

什么是 seq2seq

seq2seq，全名是 Sequence-to-sequence。是一个 Encoder–Decoder 结构的网络&