当前位置:   article > 正文

Hive设置并行参数_set hive.exec.parallel=true;

set hive.exec.parallel=true;

hive里,同一sql里,会涉及到n个job,默认情况下,每个job是顺序执行的。 
如果每个job没有前后依赖关系,可以并发执行的话,可以通过设置该参数 set hive.exec.parallel=true,实现job并发执行,该参数默认可以并发执行的job数为8。可以通过hive.exec.parallel.thread.number来设置并发执行的job数。

  1. set hive.exec.parallel=true;
  2. set hive.exec.parallel.thread.number=最大并发job数;

并行相关其他参数设置:

  1. set mapred.job.queue.name=pms;   //设置队列
  2. set hive.exec.reducers.max=8;  //设置最大的reducers
  3. set mapred.reduce.tasks=8;   //设置最大的redue tasks
  4. set hive.exec.parallel=true;    //开启任务并行执行
  5. set hive.exec.parallel.thread.number=8;  // 同一个sql允许并行任务的最大线程数

 

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/976948
推荐阅读
相关标签
  

闽ICP备14008679号