pytorch计算余弦相似度需要注意的一个问题_pytorch f.cosine_similarity

最近在知乎上看到一篇文章，里面讲到在pytorch里自带有计算余弦相似度的函数F.cosine_similarity（或者torch.cosine_similarity函数）。而在此之前，我计算两个张量的余弦相似度的做法是把张量转换到numpy，然后用scipy库（或者sklearn库）里提供的计算余弦相似度函数来做计算的。不过，在今天我发现使用F.cosine_similarity函数计算两个张量的余弦相似度的输出值与把张量转换到numpy然后用scipy库计算的输出值不一样。示例代码如下：

import torch
import torch.nn.functional as F
import numpy as np
from scipy import spatial
 
if __name__=='__main__':
	u = torch.rand((1,10))
	v = torch.rand((1,10))
	out = F.cosine_similarity(u, v, dim=1)
 
	np_u = u.detach().numpy()
	np_v = v.detach().numpy()
	np_out = spatial.distance.cdist(np_u, np_v, metric='cosine')
	
	print(np.mean(out.detach().numpy() - np_out))
	print(np.mean(out.detach().numpy() - (1-np_out)))

最后程序的运行结果是：

0.8206778521071354
2.4365337747411786e-08

可以看到第二个结果的数值表明，差异在小数点后8位的，这是pytorch和numpy里的小数表示不同导致的，这个误差可以忽律不计。从这个程序实验可以看出F.cosine_similarity函数的输出结果与spatial.distance.cdist的输出结果并不想等，它们之间的关系是：相加之和等于1。查看scipy.spatial.distance.cdist的官方文档，截图如下

这说明，F.cosine_similarity函数是直接计算两个向量夹角的余弦值，没有做1-cos的处理。这也就明白了上面的程序结果为何是两种计算方式的输出结果不相等，而是相加之和等于1。通常情况下，我们认为如果两个向量越相似，它们之间的距离应该越小，欧式距离就是这种正比关系，而以两个向量夹角的余弦值作为相似性度量值时，两个向量越相似，它们之间的夹角的余弦值越大，这个是相似性与度量值成反比关系，如果做1-cos的处理，那就调整到相似性与度量值成正比关系，这个更符合习惯。