热门标签
热门文章
- 1实时数仓DWD层业务数据处理解决思路_实时数仓数据修改
- 2代码随想录day1 Java版本
- 3高考失利只能进清华，35岁成阿里最年轻技术副总裁，他来自另一个平行世界！...
- 4Python猫眼电影数据采集与可视化分析实战_python+sqlite爬取猫眼电影并进行可视化数据分析
- 5如何用gitee提交代码
- 6浅谈AI视频技术超分辨率
- 7matlab有效计算,matlab中控制运算精度的方法
- 8最新国内可用GPT4、Midjourney绘画、DALL-E3文生图模型教程_dall 3国内怎么使用
- 9一步教会fpga数字信号处理_fpga信号处理
- 10怎么学习云计算？云计算运维和传统运维有何区别？_云计算运维自学
当前位置: article > 正文
hive------设计原则_在hive0.7和更高版本中,当设计分区时,最好遵循
作者：在线问答5 | 2024-08-02 01:19:46
赞
踩
在hive0.7和更高版本中,当设计分区时,最好遵循
1 使用分区管理HDFS文件
分区避免查询数据进行HDFS全盘扫描，一个表分区数量不要太多（导致每一个分区创建一个task，每一个task是一个jvm实例），没个分区中的文件尽量大（与HDFS数据块保持一致，默认128M）
2 hive反标准化
传统的RDBMS有标准化，例如唯一键、主键等；
hive没有主键、唯一键的概念，目标优化磁盘驱动的IO性能
3 hive允许从一个表中同时向多张表中导出数据
from 源表
insert overwrite 表1 where 从源表中获取符合条件记录
insert overwrite 表2 where 从源表中获取符合条件记录
insert overwrite 表3 where 从源表中获取符合条件记录
4 使用hive的join提高ETL数据的唯一性
声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop】
推荐阅读
相关标签
