当前位置:   article > 正文

pytorch并行报错RuntimeError: unable to write to file</torch_xxx>_runtimeerror: unable to write to file

runtimeerror: unable to write to file : no space l

问题主要是使用multiprocessing在每一轮训练时并行随机产生数据时,job.get()数据超过了torch的暂存内存,参考了以下文章,加入代码或者降低了num_pool都没有解决我的问题
https://blog.csdn.net/u012796629/article/details/105936386/

最终我使用del data,在每轮训练结束时释放掉了该轮使用的数据就可以了

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/article/detail/53329?site
推荐阅读
相关标签
  

闽ICP备14008679号