ClickHouse列式存储基础笔记

一、基础概念

ClickHouse是俄罗斯Yandex在2016年开源，使用C++编写的列式存储数据库，近几年在OLAP领域大范围应用。国内：阿里、字节、腾讯 、虎牙、青云、新浪等在使用；国外：优步、Ebay、Spotify、思科等在使用.

• 官网：Fast Open-Source OLAP DBMS - ClickHouse
• GitHub: https://github.com/ClickHouse/ClickHouse

二、特点和应用场景

• 不依赖Hadoop 生态、安装和维护简单
• 擅长对列的聚合、计数等统计操作性能强劲
• 对列存储和压缩的采用更好的算法，更好节省成本
• 拓展性强，在生产中经过实战测试，从单服务器部署到具有数千个节点的集群的线性水平可扩展性
• 具有企业级安全功能和故障安全机制，可防止数据因应用程序错误和人为错误而损坏
• 支持主流的大部分SQL语法和函数
• 吞吐能力强，官方测试支持，支持多种存储引擎，满足多数业务场景
• 广泛应用：互联网电商、在线教育、金融等领域用，户行为数据记录和分析，搭建数据可视化平台

三、海量数据OLTP/OLAP系统

OLTP：OnLine Transaction Processing，联机事务处理系统, 就是对数据的增删改查等操作

主要存储的是业务数据，如下单、支付、注册，典型代表有Mysql、 Oracle等数据库。这类操作事务进行操作，对响应时间要求高，数据是GB级别。-业务人员

OLAP：OnLine Analytical Processing，联机分析处理系统。存储的是历史数据，如风控平台、BI平台、数据可视化系统等，支持复杂的分析操作，侧重决策，典型代表有 Hive、ClickHouse，基础数据来源于生产系统中的操作日志数据，数据是TB级别。-分析决策人员

四、行存储与列存储的区别

行存储

• 传统的OLTP关系型数据库 都是行存储

• 一行中的数据在存储介质中以连续存储形式存在

• 适合随机的增删改查操作 或者 在行中选取所有属性的查询操作，结合索引提升性能

缺点：

• 查询的全部记录的某几个字段，但由于这些字段在各行数据单元中，而整个行特别大(字段特别多)，程序必须不断读取每一条的行记录取对应的字段，使得读取效率大大降低

列式存储 

• 存储结构化数据时，在底层的存储介质上，数据是以列的方式来组织的。
• 存储完若干条记录的首个字段后，再存储这些记录的第二个字段，然后再第三个字段、第四个字段...以此类推。
• 查询时只有涉及到的列会被读取，而不需要全表扫描，可以显著减少IO消耗，并降低查询响应时间。

小结

• 列存储在聚合、统计等操作性能会优于行存储。
• 列存储将多行记录的列连续存储在一起，一列接着一列。
• 列式存储是同个数据类型，会进行数据压缩率更高，更省空间。
• 列存储数据更新成本较高，一般适合读多写少的场景，适合 OLAP 分析型系统

未完待续...