赞
踩
skip-gram算法,已知中心词,预测周围的n个词。在此方法中,算Loss的方式是:
根据这个p就有对应的loss。比如考虑中心词周围四个词,那就是四个loss加起来。
那么计算这种loss的时候,分母需要考虑词表里所有的词。一个词表如果有几万词的话,这个计算就太繁琐了。因此用到负采样的办法简化。
具体来说,就是随机采样k个词,要让中心词跟这k个词尽量不像。
那么问题来了,这随机采样的词是不是有可能采样到周围的那n个词?答:是的,但是不影响效果。因为词表很大,窗口很小。
附上小火炉的手绘示意图~
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。