model.generate返回句子大于1时出现＜unk＞的情况处理

作者：我家自动化 | 2024-08-13 06:19:56

踩

model.generate

今天写代码的时候遇到很狗血的地方，在用T5模型的model.generate()方法是用了beam_search并且num_return_sequences>1，如下所示：
在这里插入图片描述
但在部分句子中却出现了如下问题：

具体来讲就是出现了pad和unk这种无效路径，因此要把这种无效路径去除掉，所以要在generate里添加参数remove_invalid_values = True即可。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家自动化/article/detail/973593