赞
踩
Hadoop YARN的核心参数配置对于优化集群性能、管理资源分配以及确保作业顺利执行至关重要。以下是一些关键参数及其配置说明:
org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler
用于启用Fair Scheduler。yarn.app.mapreduce.am.resource.mb=1024
设置AM内存为1GB。yarn.scheduler.minimum-allocation-mb / yarn.scheduler.maximum-allocation-mb
yarn.scheduler.minimum-allocation-mb=1024
和 yarn.scheduler.maximum-allocation-mb=8192
分别设置最小1GB和最大8GB。yarn.scheduler.minimum-allocation-vcores / yarn.scheduler.maximum-allocation-vcores
yarn.scheduler.minimum-allocation-vcores=1
和 yarn.scheduler.maximum-allocation-vcores=32
。yarn.nodemanager.resource.detect-hardware-capabilities
true
或 false
。yarn.nodemanager.resource.count-logical-processors-as-cores
true
或 false
。yarn.nodemanager.resource.pcores-vcores-multiplier
1.0
表示不进行额外映射,2.0
表示每个物理核心视为2个虚拟核心。yarn.nodemanager.resource.memory-mb
8192
表示8GB。true
或 false
。Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。