课程大纲

Apache Iceberg 简介

  • Apache Iceberg 概述
  • 基本概念回顾

深入了解冰山架构

  • 深入分析Iceberg的表格格式
  • 详细的体系结构概述,包括元数据和文件布局
  • 架构和分区演变的内部结构

高级安装和配置

  • 配置 Iceberg 以在不同环境中实现最佳性能
  • 与各种数据处理引擎集成
  • 高级设置:安全、加密和访问控制
  • 在分布式环境中设置 Iceberg

高级运维

  • 管理大型 Iceberg 表
  • 实施和管理复杂的架构更改
  • 处理分区演变和隐藏分区
  • 具有架构和分区更改的高级 CRUD 操作

查询优化技术

  • 减少查询延迟的技术
  • 分区修剪和文件修剪
  • 元数据缓存和优化策略
  • 实现和测试查询优化技术

大型数据集的性能调优

  • 优化大规模数据集的性能
  • 使用 Iceberg 的内置功能进行性能调优
  • 实际场景中性能调优的案例研究
  • 优化大规模数据集的性能

高级数据迁移和集成

  • 从其他系统迁移复杂的数据结构
  • 将 Iceberg 与实时数据流集成
  • 迁移复杂数据集并集成实时数据流

可靠性和一致性

  • 确保分布式环境中的数据一致性和完整性
  • 实施和管理交易担保
  • 处理故障和恢复机制
  • 实现可靠性和一致性功能

高级功能和定制

  • 自定义目录实现
  • 使用自定义功能扩展 Iceberg
  • 实现自定义目录并扩展 Iceberg 功能

数据 Governance and compliance

  • 实施数据治理策略
  • 遵守数据法规
  • 管理审计跟踪和数据沿袭
  • 实现治理和合规性功能

摘要和后续步骤

要求

  • 熟悉核心概念、基本操作、冰山表管理

观众

  • 数据工程师
  • 数据架构师
  • 数据分析师
  • 软件开发人员
 21 小时

客户评论 (3)

即将举行的公开课程

课程分类