Python、Spark和Hadoop在大数据中的应用 培训

受众：

本课程面向希望在分布式系统环境中存储和处理大规模数据集的IT专业人员。

Goal：

深入了解Hadoop集群管理。

本课程为讲师指导的培训，在中国（线上或线下）进行，面向希望使用Google Colab和Apache Spark进行大数据处理和分析的中级数据科学家和工程师。

通过本课程，学员将能够：

• 使用Google Colab和Spark搭建大数据环境。
• 利用Apache Spark高效处理和分析大型数据集。
• 在协作环境中可视化大数据。
• 将Apache Spark与基于云的工具集成。

大数据分析涉及检查大量多样化数据集的过程，以揭示相关性、隐藏模式和其他有用的见解。

健康行业拥有大量复杂的异构医疗和临床数据。将大数据分析应用于健康数据，在改善医疗保健服务方面具有巨大潜力。然而，这些数据集的庞大规模对分析和在临床环境中的实际应用提出了巨大挑战。

在这个由讲师指导的远程培训中，学员将通过一系列实践操作练习，学习如何在健康领域进行大数据分析。

培训结束后，学员将能够：

• 安装和配置大数据分析工具，如Hadoop MapReduce和Spark
• 理解医疗数据的特征
• 应用大数据技术处理医疗数据
• 在健康应用的背景下研究大数据系统和算法

受众

• 开发者
• 数据科学家

课程形式

• 部分讲座，部分讨论，练习和大量实践操作。

注意

• 如需为本课程定制培训，请联系我们安排。

受众：

本课程旨在揭开大数据/Hadoop技术的神秘面纱，并展示其并非难以理解。

这种由讲师指导的中国现场培训（现场或远程）针对的是希望学习如何在组织内设置，部署和管理Hadoop集群的系统管理员。

在培训结束时，参与者将能够：

• 安装和配置 Apache Hadoop。
• 了解 Hadoop 生态系统中的四个主要组件：HDFS、MapReduce、YARN 和 Hadoop Common。
• 使用 Hadoop 分布式文件系统 （HDFS） 将集群扩展到数百或数千个节点。  
• 将 HDFS 设置为本地 Spark 部署的存储引擎。
• 设置 Spark 以访问替代存储解决方案，例如 Amazon S3 和 NoSQL 数据库系统，例如 Redis、Elasticsearch、Couchbase、Aerospike 等。
• 执行管理任务，例如配置、管理、监控和保护 Apache Hadoop 集群。

在这个由讲师指导的线下或远程培训中，参与者将学习如何设置和集成不同的流处理框架与现有的大数据存储系统及相关软件应用和微服务。

通过本培训，参与者将能够：

• 安装和配置不同的流处理框架，如Spark Streaming和Kafka Streaming。
• 理解并选择最适合的框架。
• 以连续、并发和逐条记录的方式处理数据。
• 将流处理解决方案与现有数据库、数据仓库、数据湖等集成。
• 将最合适的流处理库与企业应用和微服务集成。

本次讲师指导的培训在 中国（线上或线下）面向希望使用 SMACK 技术栈构建大数据解决方案的数据科学家。

培训结束后，参与者将能够：

• 实现用于处理大数据的数据管道架构。
• 使用 Apache Mesos 和 Docker 开发集群基础设施。
• 使用 Spark 和 Scala 分析数据。
• 使用 Apache Cassandra 管理非结构化数据。

这种以讲师为主导的中国现场培训（现场或远程）针对的是希望建立和部署Apache Spark系统以处理大量数据的工程师。

在培训结束时，参与者将能够：

• 安装和配置 Apache Spark。
• 快速处理和分析非常大的数据集。
• 了解Apache Spark和Hadoop MapReduce之间的区别，以及何时使用哪个。
• 将 Apache Spark 与其他机器学习工具集成。

这种由讲师指导的现场培训中国（远程或远程）面向希望部署、维护和优化 Spark 集群的初级到中级系统管理员。

在培训结束时，参与者将能够：

• 在各种环境中安装和配置 Apache Spark。
• 管理群集资源并监视 Spark 应用程序。
• 优化Spark集群性能。
• 实施安全措施并确保高可用性。
• 调试和排查常见的 Spark 问题。

Apache Spark的学习曲线在开始时较为平缓，但需要付出大量努力才能获得初步回报。本课程旨在帮助学员跳过最初的学习难关。完成本课程后，学员将掌握Apache Spark的基础知识，能够清晰区分RDD与DataFrame，学习Python和Scala API，理解执行器和任务等。此外，课程还将遵循最佳实践，重点关注云部署、Databricks和AWS。学员还将了解AWS EMR与AWS Glue之间的区别，后者是AWS最新的Spark服务之一。

受众：

数据工程师、DevOps、数据科学家

目标：

本课程将介绍Apache Spark。学员将了解Spark如何融入大数据生态系统，以及如何使用Spark进行数据分析。课程涵盖Spark shell的交互式数据分析、Spark内部机制、Spark API、Spark SQL、Spark流处理、机器学习和GraphX。

受众：

开发者/数据分析师

这种由 讲师指导的 中国 现场培训（在线或现场）面向希望使用 Spark NLP（基于 Apache Spark 构建）来开发、实施和扩展自然语言文本处理模型和管道的数据科学家和开发人员。

在本次培训结束时，参与者将能够：

• 设置必要的开发环境以开始使用 Spark NLP 构建 NLP 管道。
• 了解使用 Spark NLP 的功能、架构和优势。
• 使用 Spark NLP 中提供的预训练模型来实现文本处理。
• 了解如何为生产级项目构建、训练和扩展 Spark NLP 模型。
• 对实际使用案例（临床数据、客户行为洞察等）应用分类、推理和情绪分析。

在这个由讲师指导的 中国 现场培训中，参与者将学习如何在动手练习中同时使用 Python 和 Spark 来分析大数据。

在培训结束时，参与者将能够：

• 了解如何将 Spark 与 Python 结合使用来分析 Big Data。
• 进行模仿真实世界案例的练习。
• 使用 PySpark 使用不同的工具和技术进行大数据分析。

Spark SQL 是 Apache Spark 中用于处理结构化和非结构化数据的模块。Spark SQL 提供了关于数据结构以及正在执行的计算的信息。这些信息可用于执行优化。Spark SQL 的两个常见用途是：
- 执行 SQL 查询。
- 从现有的 Hive 安装中读取数据。

在这个由讲师指导的线下或远程培训中，参与者将学习如何使用 Spark SQL 分析各种类型的数据集。

培训结束时，参与者将能够：

• 安装和配置 Spark SQL。
• 使用 Spark SQL 进行数据分析。
• 查询不同格式的数据集。
• 可视化数据和查询结果。

课程形式

• 互动讲座和讨论。
• 大量练习和实践。
• 在实时实验室环境中进行实际操作。

课程定制选项

• 如需为此课程定制培训，请联系我们安排。

Stratio是一个以数据为中心的平台，集成了大数据、人工智能和治理功能，提供一体化解决方案。其Rocket和Intelligence模块支持在企业环境中快速进行数据探索、转换和高级分析。

本次由讲师指导的培训（线上或线下）面向中级数据专业人员，旨在帮助他们有效使用Stratio中的Rocket和Intelligence模块与PySpark，重点涵盖循环结构、用户自定义函数和高级数据逻辑。

培训结束后，参与者将能够：

• 在Stratio平台中导航并使用Rocket和Intelligence模块。
• 在数据摄取、转换和分析中应用PySpark。
• 使用循环和条件逻辑控制数据工作流和特征工程任务。
• 创建并管理用户自定义函数（UDFs），以在PySpark中实现可重用的数据操作。

课程形式

• 互动式讲座与讨论。
• 大量练习与实践。
• 在实时实验室环境中进行动手操作。

课程定制选项

• 如需为本课程定制培训，请联系我们安排。