大数据课程——数据仓库Hive、数据库Hbase_hive+hbase 数仓设计

数据仓库

数据仓库概念

数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。

面向主题（数据库和数据仓库核心区别）
数据库是面向事务处理(增删改查)的系统。
对于一个已经存在的数据仓库来说，它一定是有一个或几个主题的。

集成的：
数据仓库不只有关系数据（结构化的数据），也有其他类型的数据（文档类型等）

相对稳定的：
数据库：变化很频繁（增删改查）。
数据仓库：数据存储进入之后，没有删和改操作。

反映历史变化：
数据仓库中的数据均是历史数据，不是正在操作的数据。

数据仓库的体系结构

从数据源中拿到数据之后，进行数据存储和管理（ETL），对脏数据进行处理。经过整理好的数据我们成为数据集市，数据集市中的数据我们就可以用来进行数据挖掘来进行我们想要的操作了。最后反映到前端应用中。

数据库和数据仓库的区别

联机事务处理 OLTP（On-Line Transaction Processing）：操作性处理（做增删改查），传统的数据库系统作为数据管理的主要手段，主要用于操作型处理。

联机分析处理 OLAP（On-Line Analytical Processing）：分析型处理，一般针对某些主题的历史数据进行分析，支持管理决策。

• 在面向的类型来看：数据库是面向事务的设计，数据仓库是面向主题设计的
• 在存放的数据来看：数据库一般存储业务数据，数据仓库存储的一般是