图像生成文本(二) —— Encoder-Decoder模型框架 & Beam Search算法生成文本_decoder生成文本

作者：Cpp五条 | 2024-04-05 21:57:59

踩

decoder生成文本

模型框架

以encoder-decoder模型为基础

encoder由LSTM换成了CNN

因为输入由文本换成了图片

encoder输入是图片，decoder输出是文本的概率分布

根据概率去选择词，组成一个合适的文本

但是每次取概率最高的(贪心)并不是可取的做法

例如这样情况下这样取才是最优的

所以这里我们就需要用beam search集束搜索，每一步取top-n的结果

每一步取top-n结果
下一步依靠上一步的top-n结果在n^2的结果里选择top-n
生成top-n路径
用单独的语言模型测评top-n路径

例如

BOS是一个特殊字符，代表了一个句子的开端

得到4条比较合适的路径之后，我们将它输入到语言模型中去，进行进一步的评测，看四条路经生成的语句是否是通顺的

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Cpp五条/article/detail/368123