[Hive]Hive合并小文件_hive hebingxiaowenjian

作者：盐析白兔 | 2024-07-16 01:42:43

踩

hive hebingxiaowenjian

一般每个reduce输出一个文件到HDFS，如果reduce过多，则下阶段处理时就会有很多小文件。如果job只有map,没有reduce，那么可通过map输出时合并小文件。

3.1 map端合并

set hive.merge.mapfiles=true

3.2 reduce端合并

set hive.merge.mapredfiles=true

3.3 合并后文件的大小

set hive.merge.size.per.task=256*1000*1000

3.4 设置输出文件大小的平均值，当平均值小于该值时，独立启动一个作业进行合并

set hive.merge.smallfiles.avgsize=16*1000*1000

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/831753?site