赞
踩
hive里,同一sql里,会涉及到n个job,默认情况下,每个job是顺序执行的。
如果每个job没有前后依赖关系,可以并发执行的话,可以通过设置该参数 set hive.exec.parallel=true,实现job并发执行,该参数默认可以并发执行的job数为8。可以通过hive.exec.parallel.thread.number来设置并发执行的job数。
- set hive.exec.parallel=true;
- set hive.exec.parallel.thread.number=最大并发job数;
并行相关其他参数设置:
- set mapred.job.queue.name=pms; //设置队列
- set hive.exec.reducers.max=8; //设置最大的reducers
- set mapred.reduce.tasks=8; //设置最大的redue tasks
- set hive.exec.parallel=true; //开启任务并行执行
- set hive.exec.parallel.thread.number=8; // 同一个sql允许并行任务的最大线程数
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。