热门标签
热门文章
- 1STM32 开发常见问题汇总_stm32 开发的时候遇到的问题
- 2Linux之基础指令大全【痛苦的开始】
- 3C++常见的质数判断算法_c++判断质数
- 4【目标检测】Flask+Docker在服务器部署YOLOv5应用
- 5【32单片机学习】（11）STM32启动过程详解_stm32g0系列的启动配置
- 6【uni-app】 动态设置 tabBar_uniapp动态设置tabbar
- 7记录：初学者如何安装gdal、rasterio、geopandas（中秋快乐（超大声）_rasterio和geopandas兼容版本
- 8安装spacy+zh_core_web_sm避坑指南
- 9Java刷力扣技巧总结-思想与技巧_力扣怎么刷java题
- 10【ACDC数据集】：预处理ACDC心脏3D MRI影像数据集到VOC数据集格式，nii转为jpg，label转为png
当前位置: article > 正文
python OSError: [Errno 24] Too many open files_scrapy to many open file
作者：思考机器 | 2024-01-25 09:46:44
赞
踩
scrapy to many open file
背景：scrapy启动了多个爬虫，每个爬虫都有读写文件的pipeline。发生了这一问题.
原因：超出了进程同一时间最多可开启的文件数.
解决办法： ulimit -n 2048，将数目提高，mac默认是256，linux是1024，自行体会.
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/article/detail/41895
推荐阅读
相关标签
