[数据挖掘、数据分析] clickhouse在go语言里的实践

本文介绍: 今天给大家介绍一款OLAP大数据处理软件 clickhouse ，在业界它有一个荣誉，那就是”快“，当然此快不是开车快的意思，是指clickhouse在大数据量级的查询方面，对比Sp a rk 、MySQL 、Hi v e 、Had oop，速度有很大的提升。下面我们从clickhouse的起源、OLAP/OLTP、go 语言开发实践、clickhouse的表存储引擎分析这几个方面，讲解 clickhouse为何适合做大数据分析、数据挖掘，什么情况下用什么样的表引擎，以及clickhouse的缺陷等。

[数据挖掘] clickhouse在go语言里的实践
[数据挖掘] 用户画像平台构建与业务实践

今天给大家介绍一款OLAP大数据处理软件 clickhouse ，在业界它有一个荣誉，那就是”快“，当然此快不是开车快的意思，是指clickhouse在大数据量级的查询方面，对比Sp a rk 、MySQL 、Hi v e 、Had o op，速度有很大的提升。
下面我们从clickhouse的起源、OLAP/OLTP、go 语言开发实践、click house的表存储引擎分析这几个方面，讲解cli c k house为何适合做大数据分析、数据挖掘，什么情况下用什么样的表引擎，以及cli c k house的缺陷等。

Cli c kHous e起源于Yande x 公司的Me t r ica产品团队。Me t r ica是一款We b 流量分析工具，根据用户行为数据采集，进行数据OLAP分析。数据采集的Event由页面的点击（click）产生，然后进入数据仓库进行OLAP分析。ClickHouse的全称为Click St ream,Data WareHouse，简称ClickHouse。2021年9月20日，ClickHouse团队从Yandex独立，成立公司。

OLAP和OLTP是数据处理和交易过程中的两种不同类型的方法。

OLTP，也称为联机事务处理过程，主要侧重于前台接收的用户数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。这种处理方式是对用户操作快速响应的方式之一，其基本特征是处理少量的事务性数据。

OLAP，全称联机分析处理，使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。它帮助分析人员快速获得数据，并进行分析和预测。

数据库类型	数据库名	描述
OLTP数据库	–	–
–	MySQL	OLTP的代表，擅长事务处理，支持数据频繁插入或修改，适用于业务开发人员。
–	Or acle	也是一个功能强大的OLTP数据库，广泛用于企业级应用。
–	TiDB	是 Pin gCAP 公司自主设计、研发的开源分布式关系型数据库。是一款同时支持在线事务处理与在线分析处理 (Hyb r id Transactional and Analyt ical Pro ce ss in g, HTAP)的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数据库、兼容 MySQL 5.7 协议和 MySQL 生态等重要特性。
OLAP数据库	–	–
–	Greenplum	一个分布式数据库，擅长对大量数据进行多维复杂分析，追求极致性能，面向分析决策人员。
–	Hive	Hadoop的数据仓库工具，可以处理大规模的结构化数据，提供类似于SQL的查询功能，适用于数据仓库和BI平台。
–	ClickHouse	一个开源的列式存储数据库，适合用于数据仓库和数据湖等场景，支持复杂的数据分析查询操作。
–	AWS Red shift	AWS Red shift是AWS提供的一款云上数据仓库服务。只需通过简单的鼠标点击即可得到一款高性能、高可靠的数据仓库服务。它使用密集存储 (DS) 节点，能够以非常低的价格创建超大型数据仓库。在数据仓库、运营数据库和数据湖间分析结构化和半结构化数据，使用 AWS 设计的硬件和机器学习在任意规模提供最佳性价比。
–	Dor is	一个实时数仓，可以解决 PB 级别的数据量（如果高于 PB 级别，不推荐使用 Dor is 解决，可以考虑用 Hive 等工具），解决结构化数据，查询时间一般在秒级或毫秒级。Dor is 是由百度大数据部研发的，之前叫百度 Palo，2018年贡献到 Apache 社区后，更名为 Doris。