Hive数据倾斜_set hive.optimize.skewjoin=true;

hive skew join （hive join 倾斜）

1. null 造成的数据倾斜

• 提前处理关联key,j将null转为随机字符串

 nvl(key1,SUBSTRING(MD5(RAND()),1,5))
 --这里必须转成string 否则数据类型不一样

1
2
3

• 如果业务允许，直接过滤掉null

2. 字段数量不均衡造成的数据倾斜

• 让hive 自动的对skew key 进行处理
  set hive.optimize.skewjoin=true
  set hive.skewjoin. key= 100000;数量多于这个数，那么就会作为倾斜键处理
  sethive.optimize.skewjoin.compiletime=true
  注意：

  • 前提是inner join
  • hive.optimize.skewjoin.compiletime是编译时参数，hive.optimize.skewjoin为运行时参数。前者在生成执行计划时根据元数据生成skewjoin；后者为运行过程中根据数据条数进行skewjoin优化。
    

• 先拼接随机数再去掉拼接部分

3. 不同数据类型关联产生数据倾斜

比如用户表中user_id字段为int，日志表中user_id字段既有string类型也有int类型。当两个表按照user_id进行Join操作时。后果是只有一个reduce任务 默认的Hash操作会按int型的id来进行分配，这样会导致所有string类型id的记录都分配到一个Reducer中。
解决方式：把数字类型转换成字符串类型