Transformer——Q、K、V详解_transformer q k v

作者：Monodyee | 2024-03-25 04:26:55

踩

transformer q k v

一、Q、K、V是什么？

注意：每一个key，都对应一个value；计算query和key的匹配程度就是计算两者相关性，相关性越大，代表key对应value的权重也就越大，这就是不同信息的权重不一样，这就是注意力机制！

图书馆里有很多书（value），为了方便查找，我们给书做了编号（key）。当我们想要了解漫威这本书（query）的时候，我们就可以看看那些动漫、电影、甚至二战（美国队长）相关的书籍。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Monodyee/article/detail/306947