hive 分区表，桶，倾斜知识点_hive skewed by

为什么要引入分区和桶的概念？

hive的select会扫描整个表的内容， 引入partition 桶【把hive表的数据划分为快】。

partition更粗粒度 桶更细粒度 在小范围的查询上提高效率。

分区：

partitioned by（分区字段的名字 分区字段的类型）
eg partitiond by（time date）
静态分区：分区的值是确定的【假设有一个程序，每天都统计销售额，按照日期进行分区 每天的插入到制定的日期分区】
动态分区：分区的值是不确定的，由输入的数据确定【比如：京东有很多二级类目，每一个二级类目对应多个产品，按照二级类目分区】
是否是动态分区由set hive.exec.dynamic.partition决定【=true时为动态分区】
如果模式设置为strict 必须有一个静态分区【为了灵活使用，一般会设置为 none strict 】

每一个分区字段都有一个目录存储

partitoned by(字段【为字段，不能跟表定义的字段重】）
clustered by 将每一个reduce处理的数据 不重复 全局排序
sort by 保证桶的数据是有序的
distributed by 将数据分到不同的reduce中，数据是无序的

桶表【bucketed sorted tables】
create table pag