Hive设置并行参数_set hive.exec.parallel=true;

作者：从前慢现在也慢 | 2024-08-13 23:34:23

踩

set hive.exec.parallel=true;

hive里，同一sql里，会涉及到n个job，默认情况下，每个job是顺序执行的。
如果每个job没有前后依赖关系，可以并发执行的话，可以通过设置该参数 set hive.exec.parallel=true，实现job并发执行，该参数默认可以并发执行的job数为8。可以通过hive.exec.parallel.thread.number来设置并发执行的job数。


set hive.exec.parallel=true;
set hive.exec.parallel.thread.number=最大并发job数;

并行相关其他参数设置：


set mapred.job.queue.name=pms;   //设置队列
set hive.exec.reducers.max=8;  //设置最大的reducers
set mapred.reduce.tasks=8;   //设置最大的redue tasks
set hive.exec.parallel=true;    //开启任务并行执行
set hive.exec.parallel.thread.number=8;  // 同一个sql允许并行任务的最大线程数

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/976948