杭州PySpark培训

在这门位于 杭州 的讲师带领的线下培训中，学员将通过动手练习，学习如何结合Python和Spark来分析大数据。

完成培训后，学员将能够：

• 学习使用Spark和Python分析大数据。
• 完成模拟真实场景的练习。
• 使用PySpark的不同工具和技术进行大数据分析。

本次由讲师主导的实时培训（线上或线下）面向希望使用Databricks和PySpark构建可扩展数据管道并迁移现有SQL工作流的data engineers、data analysts以及data professionals。

本培训提供了一个实用的入门指南，介绍如何使用PySpark构建可扩展的数据处理和机器学习工作流。参与者将学习Apache Spark在现代大数据生态系统中的运作方式，以及如何利用分布式计算原理高效处理大规模数据集。

本课程为期三天，注重实操，旨在利用Kubernetes环境中的PySpark、Pandas和Polars构建并优化高效的数据处理工作负载。

学员将深入理解Spark应用在Kubernetes上的执行机制，以及应用层配置决策如何影响性能、可扩展性、资源消耗和成本。课程涵盖关键优化领域，包括执行器规模调整、内存分配、动态分配、分区策略、Shuffle行为、小文件问题及高效的Parquet处理。

课程还探讨了使用Pandas时面临的常见挑战，如内存限制和内存溢出故障，并引入Polars作为特定数据处理工作负载的高性能替代方案。通过动手练习，学员将诊断性能和内存问题，比较不同的配置策略，并将优化技术应用到真实的ETL和机器学习场景中。

课程始终强调实用决策能力：理解如何识别瓶颈、选择合适的工具、高效配置Spark，并平衡性能与基础设施资源消耗及成本。