1. 本际云推荐 - 专业推荐VPS、服务器,IDC点评首页
  2. 云主机运维
  3. VPS运维

在线分析处理查询clickhouse

ClickHouse介绍及架构原理

ClickHouse是一款列式存储数据库,主要用于在线分析处理查询(OLAP),于2016年由俄罗斯的Yandex开源,使用C++编写,并能够使用SQL查询实时生成分析数据报告。ClickHouse架构原理包括Parser与Interpreter、表引擎、DataType、Column与Field、Block等组件。

在线分析处理查询clickhouse

ClickHouse应用场景

自从ClickHouse开源以来,越来越多的公司加入中文开源组共同讨论技术。ClickHouse在很多大型公司的项目中得到应用,其中最大的应用来自于Yandex的统计分析服务Yandex.Metrica,每天支持200亿的事件,历史总记录超过13万亿条记录。ClickHouse在这个应用中部署了近四百台机器,帮助网站或移动应用进行数据分析和精细化运营工具,据称Yandex.Metrica是世界上第二大的网站分析平台。

ClickHouse为什么做查询分析那么快

ClickHouse为什么做查询分析那么快?因为它采用了下列方案:

  • 数据分区:ClickHouse使用列式存储,能够快速读取参与计算的列,减少IO消耗,提高查询效率。
  • 自由压缩算法选择:不同的列可以根据数据类型,使用不同的压缩算法,高压缩比,同时也会减少内存消耗,同样的内存可以缓存更多的数据。
  • 数据压缩:ClickHouse的数据存储文件column.bin中存储的是一列数据,方便高效压缩,且压缩比高,意味着数据体积小,IO读取耗时更短。
  • 数据标记:数据标记文件与xxx.bin文件一一对应,是一级索引与数据块之间关系的数据。数据标记的使用减少了层数,提高了查询速度。

以上是ClickHouse所采用的方案,这也是ClickHouse能够做查询分析那么快的原因。

原创文章,作者:小编小本本,如若转载,请注明出处:https://www.benjiyun.com/yunzhujiyunwei/vps-yunwei/6130.html