PySpark培训

This instructor-led live training in 中国 covers the Stratio platform, focusing on the Rocket and Intelligence modules with PySpark. Participants will master data ingestion, transformation, and advanced analytics, gaining practical skills in loops, UDFs, and enterprise data workflows.

在这门位于 中国 的讲师带领的线下培训中，学员将通过动手练习，学习如何结合Python和Spark来分析大数据。

完成培训后，学员将能够：

• 学习使用Spark和Python分析大数据。
• 完成模拟真实场景的练习。
• 使用PySpark的不同工具和技术进行大数据分析。

本次由讲师主导的实时培训（线上或线下）面向希望使用Databricks和PySpark构建可扩展数据管道并迁移现有SQL工作流的data engineers、data analysts以及data professionals。

本培训提供了一个实用的入门指南，介绍如何使用PySpark构建可扩展的数据处理和机器学习工作流。参与者将学习Apache Spark在现代大数据生态系统中的运作方式，以及如何利用分布式计算原理高效处理大规模数据集。

本课程为期三天，注重实操，旨在利用Kubernetes环境中的PySpark、Pandas和Polars构建并优化高效的数据处理工作负载。

学员将深入理解Spark应用在Kubernetes上的执行机制，以及应用层配置决策如何影响性能、可扩展性、资源消耗和成本。课程涵盖关键优化领域，包括执行器规模调整、内存分配、动态分配、分区策略、Shuffle行为、小文件问题及高效的Parquet处理。

课程还探讨了使用Pandas时面临的常见挑战，如内存限制和内存溢出故障，并引入Polars作为特定数据处理工作负载的高性能替代方案。通过动手练习，学员将诊断性能和内存问题，比较不同的配置策略，并将优化技术应用到真实的ETL和机器学习场景中。

课程始终强调实用决策能力：理解如何识别瓶颈、选择合适的工具、高效配置Spark，并平衡性能与基础设施资源消耗及成本。