Apache Iceberg 是一种现代化的表格格式,专为解决传统表格格式的局限性而设计。与传统格式相比,Iceberg 在数据组织、性能和可靠性方面具有显著优势。
- Iceberg 表格式的核心设计理念
Iceberg 表格的核心组件包括:
- 数据文件:存储实际数据,通常采用列式存储格式如 Parquet 或 Avro
- 元数据:包括表结构、分区信息、数据文件位置等
- Manifest 文件:跟踪数据文件的位置和分区信息
- Snapshot:提供表的多个版本,支持时间旅行功能
Iceberg 表格格式的关键优势在于其演进能力和元数据管理机制。传统表格格式通常难以处理分区演进模式变更等问题,而 Iceberg 通过灵活的元数据设计解决了这些问题。
// 使用 Java API 创建 Iceberg 表
Tables.create(schemaWarehouse, "my_table",
Schema.of(
Types.NestedField.required(1, "id", Types.LongType.get()),
Types.NestedField.required(2, "name", Types.StringType.get()),
Types.NestedField.required(3, "ts", Types.TimestampType.withoutZone())
),
PartitionSpec.builderFor(schemaWarehouse).identity("ts").build());
这个示例展示了如何使用 Iceberg Java API 创建一个包含基本列和分区规范的表格。
- 元数据树的构成与管理
Iceberg 的元数据是其架构的核心,它以树状结构组织,包含表的所有元数据信息。
元数据树的主要组成部分:
- 版本列表:指向最新的 Snapshot
- Snapshot:表在特定时间点的状态,包含 Manifest 列表
- Manifest 列表:指向所有的 Manifest 文件
- Manifest 数据:包含数据文件的位置、分区信息等
元数据文件存储在表的元数据目录中,通常以 JSON 格式存储。Iceberg 使用层次化的元数据结构,使得表格操作高效且可靠。
元数据树的优势:
- 支持原子性表变更
- 提供并发读取和写入能力
- 支持时间旅行和回滚
- 高效的元数据查询性能
| 元素级别 | 描述 | 示例 |
|---|---|---|
| v{N}.metadata.json | 元数据版本文件 | v123.metadata.json |
| {UUID}-m{N}.avro | Manifest 数据文件 | 3a4b5c6d-7e8f-9g0h-1i2j-3k4l5m6n7o8p-m1.avro |
| {UUID}-s{N}.json | Snapshot 文件 | 9i8j7k6l-5m4n-3o2p-1q0r-s9t8u7v6w5x4-s2.json |
| data/ | 实际数据存储目录 | data/2023/01/01/part-00000.parquet |
- Manifest 文件的类型与作用
Manifest 是 Iceberg 中的重要概念,它跟踪数据文件的位置和分区信息,是元数据树的关键组成部分。
Iceberg 中有两种主要的 Manifest 文件类型:
- 数据 Manifest:
- 包含数据文件的引用
- 记录数据文件的分区数据、记录数、列级统计信息
- 每个数据文件在 Manifest 中都有对应的条目
- 删除 Manifest:
- 记录被删除的数据文件
- 支持增量数据删除和垃圾回收
Manifest 文件的主要作用:
- 高效分区修剪:通过 Manifest 文件快速确定哪些分区包含查询所需数据
- 元数据查询优化:避免扫描整个表的元数据
- 并发控制:支持多并发写入而不产生冲突
- 高效的数据文件管理:当数据文件被删除或分区变化时,只需更新 Manifest 而非整个表
// 读取表的最新 Snapshot
Snapshot snapshot = table.currentSnapshot();
// 获取 Manifest 列表
List<ManifestEntry<DataFile>> manifests = Lists.newArrayList();
for (ManifestFile manifestFile : snapshot manifests()) {
try (Manifest<DataFile> manifest = Manifest.read(manifestFile, table.io())) {
manifests.addAll(manifest.entries());
}
}
这段代码展示了如何读取表的最新 Snapshot 并获取其中的 Manifest 列表。
- Snapshot 机制实现时间旅行
Snapshot 是 Iceberg 提供时间旅行功能的核心机制。每个 Snapshot 表示表在特定时间点的状态,包含该时刻的所有 Manifest 文件引用。
Snapshot 的关键特性:
- 不可变性:一旦创建,Snapshot 内容不会改变
- 原子性:表更新操作会创建新的 Snapshot,而非修改现有 Snapshot
- 时间旅行:可以通过 Snapshot ID 或时间戳访问表的历史版本
- 表演进支持:通过新增 Snapshot 支持表结构的变更
Snapshot 的创建场景:
- 数据插入操作
- 表结构变更(添加/删除列)
- 分区规范调整
- 数据删除操作
from pyiceberg.catalog import load_catalog
from pyiceberg.schema import Schema
from pyiceberg.types import *
# 创建目录连接
catalog = load_catalog("local", **{"uri": "sqlite:/// /path/to/catalog.db"})
# 定义表结构
schema = Schema(
NestedField(field_id=1, name="id", type=LongType(), required=True),
NestedField(field_id=2, name="name", type= StringType(), required=True),
NestedField(field_id=3, name="ts", type=TimestampType(), required=True),
)
# 创建表格
catalog.create_namespace("my_namespace")
table = catalog.create_table(
"my_namespace.my_table",
schema=schema,
partition_spec=PartitionSpec(PartitionField(name="ts", transform=IdentityTransform()))
)
# 插入数据
table.append([
{"id": 1, "name": "Alice", "ts": datetime(2023, 1, 1)},
{"id": 2, "name": "Bob", "ts": datetime(2023, 1, 2)},
{"id": 3, "name": "Charlie", "ts": datetime(2023, 1, 3)},
])
# 查询数据
df = table.scan().to_pandas()
print(df.head())
# 使用时间旅行查询历史版本
snapshot = table.snapshot_by_id(table.current_snapshot().snapshot_id())
print(f"Current snapshot ID: {snapshot.snapshot_id()}")
- 实战应用与最佳实践
注意事项:
- 元数据大小控制:定期清理旧的 Snapshot 以控制元数据大小
- 并发写入:Iceberg 支持并发写入,但需注意事务隔离级别
- 分区策略:选择合适的分区策略对查询性能至关重要
- 数据文件大小:合理配置数据文件大小以平衡 I/O 和并行度
- 垃圾回收:定期执行垃圾回收以删除被删除的数据文件
| 优点 | 缺点 |
|---|---|
| 支持表模式演进 | 学习曲线较陡峭 |
| 提供时间旅行功能 | 需要额外的元数据存储 |
| 支持高效的分区修剪 | 查询性能依赖于元数据大小 |
| 高效的并发写入 | 元数据管理复杂度高 |
| 与多种查询引擎兼容 | 需要专门的优化知识 |
这个流程图展示了 Iceberg 处理查询的完整流程,包括元数据读取、分区修剪和读取数据文件的过程,同时也展示了 Snapshot、Manifest 和数据文件之间的关系。
转载自 CSDN-专业IT技术社区
原文链接:https://blog.csdn.net/qq_41840843/article/details/166229170




