StarRocks 存算分离架构：CN 节点弹性、对象存储接入与成本优化- 惊觉

StarRocks 存算分离架构：CN 节点弹性、对象存储接入与成本优化

1. StarRocks 存算分离架构概述

StarRocks 作为一款现代化的分析型数据库，采用了先进的存算分离架构设计，将计算和存储资源进行解耦，实现了资源的独立扩展和高效利用。在存算分离架构中，FE（Frontend）节点负责元数据管理和请求路由，BE（Backend）节点负责数据存储和计算，而 CN（Compute Node）节点则专注于计算任务的处理，实现了计算与存储的完全分离。

存算分离架构的核心优势在于：

资源灵活扩展：计算和存储资源可以根据需求独立扩展，无需相互制约。
高可用性：存储层与计算层分离，避免了单点故障风险。
成本优化：通过按需扩展计算资源，可以有效降低运营成本。
数据一致性：通过统一元数据管理，确保多计算节点间数据视图一致性。

StarRocks 存算分离架构通过 FE、BE 和 CN 协同工作，为大规模数据分析提供了高性能、高可用和低成本的解决方案。

2. CN 节点弹性扩展机制

在 StarRocks 存算分离架构中，CN 节点是专门负责计算任务处理的节点，具备良好的弹性扩展能力。CN 节点的弹性扩展机制主要包括以下几个方面：

2.1 动态扩缩容

CN 节点支持动态添加和移除，实现计算资源的按需扩展。当系统负载增加时，可以快速添加新的 CN 节点分担计算压力；当负载降低时，可以减少 CN 节点数量，节省资源成本。

-- 添加CN节点
ALTER SYSTEM ADD COMPUTE NODE "cn1-host:port";
ALTER SYSTEM ADD COMPUTE NODE "cn2-host:port";
-- 移除CN节点
ALTER SYSTEM DROP COMPUTE NODE "cn1-host:port";

2.2 负载均衡

StarRocks FE 节点会根据各 CN 节点的负载情况，智能地将查询请求分发到负载较低的节点，确保整体系统负载均衡。

2.3 会话管理

每个 CN 节点维护自己的会话状态，FE 节点在路由查询时会考虑会话亲和性，将同一用户的请求尽量路由到同一个 CN 节点，减少状态传输开销。

2.4 故障转移

当某个 CN 节点发生故障时，FE 节点会自动检测并将该节点的请求转移到其他健康的 CN 节点，确保查询服务的连续性。

CN 节点弹性扩展的优势：

特性	传统架构	存算分离架构
扩容方式	需要整体扩容	CN节点独立扩容
扩容速度	较慢，需数据重分布	快速，无需数据迁移
资源利用率	低，计算和存储耦合	高，按需分配
故障恢复	影响整体服务	仅影响部分查询

3. 对象存储接入技术

StarRocks 存算分离架构支持多种对象存储系统，包括 AWS S3、阿里云 OSS、Azure Blob Storage 等，实现数据存储与计算资源的完全分离。对象存储接入技术使 StarRocks 能够利用云存储的弹性和低成本特性。

3.1 对象存储配置

在 StarRocks 中配置对象存储需要在 FE 和 BE 节点的配置文件中进行以下设置：

# fe.conf
storage_root_path = s3://your-bucket/path/
# be.conf
storage_root_path = s3://your-bucket/path/

3.2 认证方式

StarRocks 支持多种对象存储认证方式：

-- 直接在SQL中使用临时凭证
SET PROPERTY FOR "cluster" 
"aws_access_key_id" = "your-access-key-id",
"aws_secret_access_key" = "your-secret-access-key",
"aws_region" = "us-west-2";

3.3 数据读写

StarRocks 通过以下方式与对象存储进行数据交互：

数据导入：支持从对象存储直接导入数据，避免本地存储限制
数据缓存：BE 节点会缓存热点数据，提高查询性能
数据分层：冷数据存储在对象存储，热数据缓存到本地，优化成本和性能

-- 从对象存储导入数据
INSERT INTO target_table
SELECT * FROM external_table
PROPERTIES (
    "file_path" = "s3://your-bucket/path/data.csv",
    "format" = "CSV"
);

3.4 存储策略

StarRocks 支持多种存储策略，优化数据访问成本：

存储策略	适用场景	特点
全量缓存	高频访问数据	查询性能最佳，成本较高
缓存热点	部分数据频繁访问	平衡性能和成本
直读	冷数据查询	成本最低，性能一般

4. 成本优化实践

StarRocks 存算分离架构通过多种方式帮助用户实现成本优化：

4.1 计算资源优化

弹性伸缩：根据业务负载动态调整 CN 节点数量，避免资源闲置
资源隔离：不同业务可以使用不同的 CN 节点池，实现资源精细化管理
资源复用：多个业务共享同一套存储资源，避免数据冗余

4.2 存储成本优化

数据分层：热数据存放在本地存储，冷数据存放在对象存储，优化存储成本
压缩技术：采用列式存储和高效压缩算法，减少存储空间占用
生命周期管理：自动将历史数据归档到低成本存储层

-- 设置数据分层策略
ALTER TABLE table_name
SET ("storage_medium" = "SSD", "storage_cooldown_time" = "2024-01-01 00:00:00");

4.3 查询性能优化

查询缓存：缓存频繁查询的结果，减少重复计算
并行查询：利用多 CN 节点并行处理复杂查询
智能索引：根据查询模式自动创建和维护索引

优化策略	效果	实现方式
查询缓存	减少 30%-50% 查询时间	内存缓存常见查询结果
并行查询	提高 2-4 倍查询吞吐	多 CN 节点协同工作
数据分层	降低 50%-70% 存储成本	热数据本地，冷数据云端

4.4 运维成本降低

自动化运维：通过 FE 节点统一管理，简化运维操作
故障自愈：自动检测并处理节点故障，减少人工干预
监控告警：完善的监控体系，及时发现并解决问题

5. 实践案例与最小示例

以下是一个完整的 StarRocks 存算分离架构部署和使用的最小示例：

5.1 部署步骤

部署 FE 节点

# 下载 StarRocks 安装包
wget https://github.com/StarRocks/starrocks/releases/download/3.1.0/starrocks-3.1.0-bin.tar.xz
tar -xf starrocks-3.1.0-bin.tar.xz
# 配置 fe.conf
cat > fe/conf/fe.conf <<EOF
http_port = 8030
rpc_port = 9020
query_port = 9030
metadata_failure_recovery = true
storage_root_path = s3://your-bucket/path/
EOF

部署 BE 节点

# 配置 be.conf
cat > be/conf/be.conf <<EOF
be_port = 9060
http_port = 8040
heartbeat_service_port = 9050
brpc_port = 8060
storage_root_path = s3://your-bucket/path/
EOF

启动服务

# 启动 FE
fe/bin/start_fe.sh --daemon
# 启动 BE
be/bin/start_be.sh --daemon

5.2 创建存算分离表

-- 创建数据库
CREATE DATABASE IF NOT EXISTS test_db;
-- 使用 test_db
USE test_db;
-- 创建外部表（指向对象存储）
CREATE EXTERNAL TABLE sales_external (
    order_id BIGINT,
    customer_id INT,
    product_id INT,
    quantity INT,
    price DECIMAL(10,2),
    sale_date DATE
) ENGINE=OLAP
PROPERTIES (
    "file_path" = "s3://your-bucket/path/sales/",
    "format" = "ORC"
);
-- 创建内部表（存储计算结果）
CREATE TABLE sales_summary (
    product_id INT,
    total_quantity INT,
    total_amount DECIMAL(15,2),
    avg_price DECIMAL(10,2)
) ENGINE=OLAP
DUPLICATE KEY(product_id)
DISTRIBUTED BY HASH(product_id) BUCKETS 10
PROPERTIES (
    "storage_medium" = "SSD"
);
-- 导入数据
INSERT INTO sales_summary
SELECT 
    product_id,
    SUM(quantity),
    SUM(quantity * price),
    SUM(quantity * price) / SUM(quantity)
FROM sales_external
GROUP BY product_id;

5.3 添加 CN 节点

-- 添加 CN 节点
ALTER SYSTEM ADD COMPUTE NODE "cn1-host:9050";
-- 验证 CN 节点状态
SHOW COMPUTE NODES;

5.4 注意事项

对象存储权限：确保 StarRocks 有足够的权限访问对象存储
网络配置：CN 节点需要能够访问 FE 节点和对象存储
数据一致性：在并发写入时注意数据一致性问题
监控告警：配置适当的监控和告警机制，及时发现问题
备份恢复：定期备份元数据，并测试恢复流程

通过以上实践，可以充分利用 StarRocks 存算分离架构的优势，实现 CN 节点弹性扩展、对象存储高效接入和整体成本优化。

转载自 CSDN-专业IT技术社区

原文链接：https://blog.csdn.net/qq_41840843/article/details/166792451

StarRocks 存算分离架构：CN 节点弹性、对象存储接入与成本优化