当前位置:   article > 正文

hive 分区表,桶,倾斜知识点_hive skewed by

hive skewed by
为什么要引入分区和桶的概念?

hive的select会扫描整个表的内容, 引入partition 桶【把hive表的数据划分为快】。

partition更粗粒度 桶更细粒度 在小范围的查询上提高效率。

分区:

partitioned by(分区字段的名字 分区字段的类型)
eg partitiond by(time date)
静态分区:分区的值是确定的【假设有一个程序,每天都统计销售额,按照日期进行分区 每天的插入到制定的日期分区】
动态分区:分区的值是不确定的,由输入的数据确定【比如:京东有很多二级类目,每一个二级类目对应多个产品,按照二级类目分区】
是否是动态分区由set hive.exec.dynamic.partition决定【=true时为动态分区】
如果模式设置为strict 必须有一个静态分区【为了灵活使用,一般会设置为 none strict 】

每一个分区字段都有一个目录存储

partitoned by(字段【为字段,不能跟表定义的字段重】)
clustered by 将每一个reduce处理的数据 不重复 全局排序
sort by 保证桶的数据是有序的
distributed by 将数据分到不同的reduce中,数据是无序的

桶表【bucketed sorted tables】
create table pag
声明:本文内容由网友自发贡献,转载请注明出处:【wpsshop】
推荐阅读
相关标签
  

闽ICP备14008679号