Databricks和PySpark用于数据工程 培训

Azure Databricks是一个基于云的协作平台，支持使用Apache Spark和Microsoft Azure生态系统进行大数据分析和机器学习。

本课程为讲师指导的培训（线上或线下），面向中级数据专业人员，旨在帮助他们使用Azure Databricks设计和部署机器学习模型，以应用于金融用例。

培训结束后，学员将能够：

• 使用Azure Databricks中的金融数据构建和训练机器学习模型。
• 使用MLflow跟踪实验、管理模型并部署解决方案。
• 应用模型检测异常、评估风险或预测金融趋势。
• 将机器学习模型集成到可扩展的管道中，以进行持续评估。

课程形式

• 互动式讲座与讨论。
• 大量练习与实践。
• 在实时实验环境中进行动手操作。

课程定制选项

• 如需为本课程定制培训，请联系我们进行安排。

本课程由讲师指导，提供中国的线上或线下培训，面向希望使用 Databricks 设置、部署和管理数据分析解决方案的数据科学家和开发人员。

通过本课程，参与者将能够：

• 设置和配置 Databricks。
• 了解 Databricks 和 Apache Spark 如何协同工作。
• 学习如何在 Databricks 中加载和转换数据。

Databricks是一个统一的Lakehouse平台，结合了Spark、Delta Lake和治理（Unity Catalog），以支持可扩展的数据工程和分析工作流。

本次由讲师主导的培训（线上或线下）面向具有数据工程背景的中级技术经理，旨在帮助他们将复杂的OLAP逻辑迁移到使用Databricks、Spark、Delta Lake、Unity Catalog和原生工作流的Lakehouse架构中。

培训结束后，参与者将能够：

• 解释Lakehouse架构及Bronze→Silver→Gold（Medallion）模式。
• 将存储过程逻辑转换为Spark DataFrame和笔记本实现。
• 使用Delta Lake设计和实现增量摄取、合并和优化例程。
• 使用Databricks工作流构建端到端的编排管道，包括版本控制、测试和治理。

课程形式

• 密集的讲师主导课程，包含重点演示和讲解。
• 每天使用代表性数据集和迁移练习进行实践操作。
• 指导代码审查、性能调优诊所和工作流编排实践。

课程定制选项

• 本课程可根据您的环境、数据集和治理要求进行定制，请联系我们安排定制。

Databricks 是一个为大数据和机器学习设计的统一分析平台，适用于协作环境。

这项由讲师指导的培训（线上或线下）旨在帮助初级到中级的数据分析师和金融专业人员，使用 Databricks 进行与金融相关的大规模数据分析。

培训结束后，参与者将能够：

• 使用 Databricks 笔记本查询和分析金融数据集。
• 清理和转换原始金融数据以进行报告和洞察。
• 创建仪表板和可视化工具以跟踪性能。
• 与团队成员即时协作，共享笔记本。

课程形式

• 互动式讲座和讨论。
• 大量练习和实践。
• 在实时实验室环境中进行动手操作。

课程定制选项

• 如需定制此课程的培训，请联系我们安排。

本培训提供了一个实用的入门指南，介绍如何使用PySpark构建可扩展的数据处理和机器学习工作流。参与者将学习Apache Spark在现代大数据生态系统中的运作方式，以及如何利用分布式计算原理高效处理大规模数据集。

在这个由讲师指导的 中国 现场培训中，参与者将学习如何在动手练习中同时使用 Python 和 Spark 来分析大数据。

在培训结束时，参与者将能够：

• 了解如何将 Spark 与 Python 结合使用来分析 Big Data。
• 进行模仿真实世界案例的练习。
• 使用 PySpark 使用不同的工具和技术进行大数据分析。

Stratio是一个以数据为中心的平台，集成了大数据、人工智能和治理功能，提供一体化解决方案。其Rocket和Intelligence模块支持在企业环境中快速进行数据探索、转换和高级分析。

本次由讲师指导的培训（线上或线下）面向中级数据专业人员，旨在帮助他们有效使用Stratio中的Rocket和Intelligence模块与PySpark，重点涵盖循环结构、用户自定义函数和高级数据逻辑。

培训结束后，参与者将能够：

• 在Stratio平台中导航并使用Rocket和Intelligence模块。
• 在数据摄取、转换和分析中应用PySpark。
• 使用循环和条件逻辑控制数据工作流和特征工程任务。
• 创建并管理用户自定义函数（UDFs），以在PySpark中实现可重用的数据操作。

课程形式

• 互动式讲座与讨论。
• 大量练习与实践。
• 在实时实验室环境中进行动手操作。

课程定制选项

• 如需为本课程定制培训，请联系我们安排。