Spark调优-解决job任务运行超时或者慢的问题_spark 文件过多超时优化

作者：盐析白兔 | 2024-07-19 19:51:04

踩

spark 文件过多超时优化

1 三个参数各自的作用（都配置在spark-default.conf文件中）

1.1 spark.shuffle.io.connectionTimeout （默认值是120s）

这个参数设置了在 shuffle 过程中，当一个 reduce 任务尝试从 map 任务读取数据时，建立连接的超时时间。如果在这个时间内连接没有成功建立，那么 reduce 任务可能会认为 map 任务没有响应，并可能触发重试机制。这个超时时间的设置对于网络状况不佳或者集群负载较高的情况下尤为重要，因为它可以避免因为连接超时而造成的不必要的重试。

1.2 spark.rpc.numRetries (默认值是3)

本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】