StarRocks上新，“One Data、All Analytics”还有多远？

首页
互联网
正文

本文介绍: 简化数据技术栈，通过一个引擎实现全场景的“On e Da ta、All An aly ti cs”愿景。

K.K在《未来十二大趋势》中认为，我们正处于一个数据流动的时代。商业乃数据之商业。归根结底，你在处理的都是数据。

的确，当数据成为新的核心生产要素之际，数据分析就犹如最重要的生产工具之一，决定着企业在数字化时代生产力水平。近年来,无论国外的Snow fl a k e、Datab r i ck s，还是国内StarRoc ks、Pin gCAP，大批数据分析型公司涌现，都旨在满足越来越多的数据分析需求，帮助各种企业充分释放数据生产力。

这其中，StarRoc ks 就是数据分析领域一颗冉冉升起的新星。在短短几年时间里，StarRoc ks在Gi t hub获得star 6300+，成为同类开源数据库项目里增长最快的，并且在2022年底正式捐赠给 Linux Foun dat ion，吸引到全球开发者和用户参与未来社区的建设。

正如StarRoc ks TSC Mem b e r、镜舟科技 CTO 张友东所言，StarRoc ks希望通过技术创新来简化数据技术栈，通过一个引擎实现全场景的“One Data、All Analyt i cs”愿景。

为何需要“One Data，All Analyt ic s”

当前，人工智能、大数据、物联网等数字化技术在不断提升企业生产力的同时，随之而来就是复杂性的持续提升。这种复杂性在数据领域体现的尤为明显，尤其是数据技术与业务场景的不断融合，复杂性困扰着诸多身处数字化转型的企业。

复杂性首先体现在数据本身，数据正加速走向海量化和多样化。过去，一家企业往往以结构化数据为主，数据规模通常是TB级别；现在，文本数据、轨迹数据、日志数据等非结构化数据大幅增加，PB级数据量正成为越来越多企业的常态。

其次，企业如今的业务场景日趋复杂，随之而来的就是数据栈相关技术、工具、产品大量增加。从过去单一的数据仓库，到现在指标平台、交互式分析、实时分析、流计算等等，企业面临的数据栈环境复杂程度远胜以往，并且随着AI相关技术融入，这种复杂性还在持续增加。

第三，数据消费需求的复杂性大幅提升。过去，数据消费仅仅是管理层少数人的“权力”；现在，“人人用数”已经成为众多企业追求的目标。例如，有些走在前沿的互联网、金融等企业，甚至一名普通业务员工都是数据消费者，并且在日常业务中随时会进行数据分析。

因此，在海量数据环境成为既定事实的情况下，企业在数据领域所面临的复杂性挑战将是数字化转型中一道必须面临的难题。在张友东看来，“One Data，All Analyti c s”是化解数据分析复杂性的关键，而StarRoc ks3.0版本的推出，为实现“One Data，All Analyti c s”目标前进了一大步。

StarRoc ks 3.0，产品大进阶

众所周知，数据分析类产品拥有多年历史。在大数据兴起之前，Te radata、Greenplum等传统数据仓库一直占据着主流市场位置；随着大数据兴起，以Had oop 为代表的大数据平台迅速成为数据分析的基础平台；如今，云原生、湖仓一体等技术的兴起，加速推动着数据分析产品的创新。

当前，数据分析类相关的公司众多。不过，StarRoc ks用出色表现吸引了业界的大量关注。自从2021年9月份正式开源以来，StarRoc ks已成长为开源领域的明星项目，获得了全球开发者的认可。在笔者看来，StarRoc ks之所以在短时间即获得阶段性的成功，关键在于产品的迭代速度和创新能力。

从开源至今，StarRo c ks已经历了三个大版本的迭代，从1.0版本主打性能，到2.0版本围绕融合统一，再到现在3.0版本围绕湖仓一体的创新，StarRocks成为当下数据分析领域现象级的产品。

以数据仓库架构为例，存算分离是大势所趋。随着云原生等技术的高速发展，通过存算分离架构，计算、存储等资源可以更好地弹性化，以应对业务对于资源的使用，从而实现成本、效率的最优化。StarRocks 3.0同样采用了存算分离架构，架构设计高度抽象且极简，无需依赖复杂组件，具有极强的扩展性和弹性；并且支持Multi-Ware h o use，多个Ware h o use 共享一份数据，不同 Warehouse 应用在不同工作负载，计算资源可以进行物理隔离，内部按需独立弹性伸缩。

“存算分离架构真正带来两大价值：降本增效和弹性伸缩。像在存储层面，采用存算分离架构后的Sta rRocks 3.0整体存储成本可以下降80%，而计算节点则因为无状态，可以通过快速弹性、跨可用区部署等方式来提高计算的可用性，并且计算资源能够进行物理隔离，按需独立弹性伸缩。”张友东介绍道。

另外，湖仓走向一体化也是数据分析产品的一大重要趋势。通常，企业在经历了多年的数字化转型之后，都会存在着数据仓库和数据湖两种数据分析技术栈，它们各具特点与优势，数据仓库往往具备数据质量高、性能出色、实时分析强等优势，而数据湖则可以存储各种不同类型的数据，扩展性和开放性强。因此，融合数据仓库与数据湖的各自优势就成为业界努力的方向。

当前，业界并不缺少湖仓相关的解决方案。比如在湖上性能不满足，采用湖上建仓的方案加速查询；再如数据仓库扩展查询外部数据湖能力等。

张友东直言，这些方案更像是一种组合式方案，并没有真正做到湖仓一体，“湖仓一体意味着一套架构满足所有数据分析的需求，也即One Data，All Analytics。”

以Sta rRocks 3.0的湖仓一体化架构为例，实现了数据统一存储管理，一份数据作为 Sin gle source of truth；另外，强大的分析引擎可以基于一份数据，满足包括BI 报表、交互式分析、实时分析、ETL 数据加工等场景的查询诉求；更加关键的是，具备按需数据加工/查询加速的能力。

“未来数据分析演进的趋势肯定是湖仓一体，用户无需关注建湖还是建仓，核心目标是低成本、高效的解决数据分析问题。”张友东补充道。

此外，随着数据量和业务复杂性的大幅提升，使得ETL成为一件极为辛苦的工作，通常需要耗费大量人力、精力在ETL相关工作上。对此，Sta rRocks 3.0也在瞄准No ETL的方向，在整个数据管理中减少ETL的工作量，并且通过物化视图让用户尽量不感知ETL，从全链路层面致力于简化ETL的pipeline。

毫无疑问，StarRocks 3.0版本的推出是StarRocks项目发展的一个关键节点。这意味着StarRocks 产品力已经实现重要的突破，可以助力用户实现全场景的数据分析架构统一，也为自身带来了更加广阔的市场空间。

多个 头部 客户青睐，StarRocks未来值得期待

随着数据驱动型应用大量涌现，数据分析、数据消费需求也随之产生。Gartner认为，数据分析已成为企业数字化转型中致力于建设的核心能力。因此，数据分析赛道未来具有极为光明的前景。

毫无疑问，从StarRocks的社区发展、用户群、商业生态建设等情况拉看，StarRocks正处于一个高速发展的极端，未来值得更多的期待。

其一，得益于对于开源理念的坚持，StarRocks 开源社区一直处于非常活跃的状态，为后续的发展带来了十足的生命力。目前，社区开发工作由镜舟科技主导推进，并且贡献了70%以上的核心代码；此外，阿里云、腾讯、火山引擎、滴滴出行等头部企业已经积极参与到社区之中，并且持续给社区贡献了物化视图、CN 弹性节点等诸多重要特性。

其二，得益于行业头部客户的积极参与和产品创新力的提升，StarRocks产品在金融、零售、物流、制造和互联网等多个行业头部用户的复杂业务场景中得到锤炼。据悉，目前有超过 300家市值10亿美金以上的大型用户在生产环境使用 StarRocks，场景覆盖 BI 报表、交互式探寻分析、实时分析、湖仓分析等一系列场景，未来有望在场景应用中持续推动产品创新与快速迭代。