Apache Spark基础 培训

本课程为讲师指导的培训，在中国（线上或线下）进行，面向希望使用Google Colab和Apache Spark进行大数据处理和分析的中级数据科学家和工程师。

通过本课程，学员将能够：

• 使用Google Colab和Spark搭建大数据环境。
• 利用Apache Spark高效处理和分析大型数据集。
• 在协作环境中可视化大数据。
• 将Apache Spark与基于云的工具集成。

本培训提供了一个实用的入门指南，介绍如何使用PySpark构建可扩展的数据处理和机器学习工作流。参与者将学习Apache Spark在现代大数据生态系统中的运作方式，以及如何利用分布式计算原理高效处理大规模数据集。

这种由讲师指导的现场培训中国（远程或远程）面向希望部署、维护和优化 Spark 集群的初级到中级系统管理员。

在培训结束时，参与者将能够：

• 在各种环境中安装和配置 Apache Spark。
• 管理群集资源并监视 Spark 应用程序。
• 优化Spark集群性能。
• 实施安全措施并确保高可用性。
• 调试和排查常见的 Spark 问题。

Apache Spark的学习曲线在开始时较为平缓，但需要付出大量努力才能获得初步回报。本课程旨在帮助学员跳过最初的学习难关。完成本课程后，学员将掌握Apache Spark的基础知识，能够清晰区分RDD与DataFrame，学习Python和Scala API，理解执行器和任务等。此外，课程还将遵循最佳实践，重点关注云部署、Databricks和AWS。学员还将了解AWS EMR与AWS Glue之间的区别，后者是AWS最新的Spark服务之一。

受众：

数据工程师、DevOps、数据科学家

在这个由讲师指导的 中国 现场培训中，参与者将学习如何在动手练习中同时使用 Python 和 Spark 来分析大数据。

在培训结束时，参与者将能够：

• 了解如何将 Spark 与 Python 结合使用来分析 Big Data。
• 进行模仿真实世界案例的练习。
• 使用 PySpark 使用不同的工具和技术进行大数据分析。

这种以讲师为主导的中国现场培训（现场或远程）针对希望使用和集成Spark，Hadoop和Python以处理，分析和转换大型复杂数据集的开发人员。

在培训结束时，参与者将能够：

• 设置必要的环境以开始使用 Spark、Hadoop 和 Python 处理大数据。
• 了解 Spark 和 Hadoop 的功能、核心组件和架构。
• 了解如何集成 Spark、Hadoop 和 Python 进行大数据处理。
• 探索 Spark 生态系统中的工具（Spark MlLib、Spark Streaming、Kafka、Sqoop、Kafka 和 Flume）。
• 构建类似于 Netflix、YouTube、Amazon、Spotify 和 Google 的协作过滤推荐系统。
• 使用 Apache Mahout 扩展机器学习算法。

Stratio是一个以数据为中心的平台，集成了大数据、人工智能和治理功能，提供一体化解决方案。其Rocket和Intelligence模块支持在企业环境中快速进行数据探索、转换和高级分析。

本次由讲师指导的培训（线上或线下）面向中级数据专业人员，旨在帮助他们有效使用Stratio中的Rocket和Intelligence模块与PySpark，重点涵盖循环结构、用户自定义函数和高级数据逻辑。

培训结束后，参与者将能够：

• 在Stratio平台中导航并使用Rocket和Intelligence模块。
• 在数据摄取、转换和分析中应用PySpark。
• 使用循环和条件逻辑控制数据工作流和特征工程任务。
• 创建并管理用户自定义函数（UDFs），以在PySpark中实现可重用的数据操作。

课程形式

• 互动式讲座与讨论。
• 大量练习与实践。
• 在实时实验室环境中进行动手操作。

课程定制选项

• 如需为本课程定制培训，请联系我们安排。