Talend大数据集成 培训

本课程为讲师指导的培训，在中国（线上或线下）进行，面向希望使用Google Colab和Apache Spark进行大数据处理和分析的中级数据科学家和工程师。

通过本课程，学员将能够：

• 使用Google Colab和Spark搭建大数据环境。
• 利用Apache Spark高效处理和分析大型数据集。
• 在协作环境中可视化大数据。
• 将Apache Spark与基于云的工具集成。

Apache Hadoop 是最流行的用于在服务器集群上处理 Big Data 的框架。在这个为期三（可选四）天的课程中，学员将了解 Hadoop 及其生态系统的商业优势和用例，如何规划集群的部署和扩展，如何安装、维护、监控、故障排除和优化 Hadoop。他们还将练习集群批量数据加载，熟悉各种 Hadoop 发行版，并练习安装和管理 Hadoop 生态系统工具。课程最后将讨论如何使用 Kerberos 保护集群。

“……材料准备得非常充分，涵盖全面。实验室非常有帮助且组织有序。” — Andrew Nguyen, 首席集成数据仓库工程师, Microsoft 线上 Advertising

受众

Hadoop 管理员

形式

讲座与动手实验，大致比例为 60% 讲座，40% 实验。

Apache NiFi 是一个开源的、基于数据流的数据集成和事件处理平台。它支持自动化的实时数据路由、转换和系统中介，通过基于 Web 的用户界面和细粒度的控制，连接不同的系统。

本次由讲师主导的培训（线下或远程）面向中级管理员和工程师，旨在帮助他们部署、管理、保护和优化生产环境中的 NiFi 数据流。

培训结束后，参与者将能够：

• 安装、配置和维护 Apache NiFi 集群。
• 设计和管理来自不同源和目的地的数据流。
• 实现流的自动化、路由和转换逻辑。
• 优化性能、监控操作并解决问题。

课程形式

• 互动讲座，结合实际架构讨论。
• 动手实验：构建、部署和管理数据流。
• 在实时实验室环境中进行基于场景的练习。

课程定制选项

• 如需定制本课程，请联系我们安排。

在这个由讲师指导的 中国 现场培训中，参与者将学习基于流程的程式设计的基础知识，因为他们使用 Apache NiFi 开发许多演示扩展、元件和处理器。

在培训结束时，参与者将能够：

• 了解 NiFi 的架构和数据流概念。
• 使用 NiFi 和第三方 API 开发扩展。
• 定制开发自己的Apache Nifi处理器。
• 从不同和不常见的档格式和数据源中摄取和处理实时数据。

本培训提供了一个实用的入门指南，介绍如何使用PySpark构建可扩展的数据处理和机器学习工作流。参与者将学习Apache Spark在现代大数据生态系统中的运作方式，以及如何利用分布式计算原理高效处理大规模数据集。

这种以讲师为主导的中国现场培训（现场或远程）针对的是希望建立和部署Apache Spark系统以处理大量数据的工程师。

在培训结束时，参与者将能够：

• 安装和配置 Apache Spark。
• 快速处理和分析非常大的数据集。
• 了解Apache Spark和Hadoop MapReduce之间的区别，以及何时使用哪个。
• 将 Apache Spark 与其他机器学习工具集成。

这种由讲师指导的现场培训中国（远程或远程）面向希望部署、维护和优化 Spark 集群的初级到中级系统管理员。

在培训结束时，参与者将能够：

• 在各种环境中安装和配置 Apache Spark。
• 管理群集资源并监视 Spark 应用程序。
• 优化Spark集群性能。
• 实施安全措施并确保高可用性。
• 调试和排查常见的 Spark 问题。

Apache Spark的学习曲线在开始时较为平缓，但需要付出大量努力才能获得初步回报。本课程旨在帮助学员跳过最初的学习难关。完成本课程后，学员将掌握Apache Spark的基础知识，能够清晰区分RDD与DataFrame，学习Python和Scala API，理解执行器和任务等。此外，课程还将遵循最佳实践，重点关注云部署、Databricks和AWS。学员还将了解AWS EMR与AWS Glue之间的区别，后者是AWS最新的Spark服务之一。

受众：

数据工程师、DevOps、数据科学家

在这个由讲师指导的 中国 现场培训中，参与者将学习如何在动手练习中同时使用 Python 和 Spark 来分析大数据。

在培训结束时，参与者将能够：

• 了解如何将 Spark 与 Python 结合使用来分析 Big Data。
• 进行模仿真实世界案例的练习。
• 使用 PySpark 使用不同的工具和技术进行大数据分析。

这种以讲师为主导的中国现场培训（现场或远程）针对希望使用和集成Spark，Hadoop和Python以处理，分析和转换大型复杂数据集的开发人员。

在培训结束时，参与者将能够：

• 设置必要的环境以开始使用 Spark、Hadoop 和 Python 处理大数据。
• 了解 Spark 和 Hadoop 的功能、核心组件和架构。
• 了解如何集成 Spark、Hadoop 和 Python 进行大数据处理。
• 探索 Spark 生态系统中的工具（Spark MlLib、Spark Streaming、Kafka、Sqoop、Kafka 和 Flume）。
• 构建类似于 Netflix、YouTube、Amazon、Spotify 和 Google 的协作过滤推荐系统。
• 使用 Apache Mahout 扩展机器学习算法。

Spark SQL 是 Apache Spark 中用于处理结构化和非结构化数据的模块。Spark SQL 提供了关于数据结构以及正在执行的计算的信息。这些信息可用于执行优化。Spark SQL 的两个常见用途是：
- 执行 SQL 查询。
- 从现有的 Hive 安装中读取数据。

在这个由讲师指导的线下或远程培训中，参与者将学习如何使用 Spark SQL 分析各种类型的数据集。

培训结束时，参与者将能够：

• 安装和配置 Spark SQL。
• 使用 Spark SQL 进行数据分析。
• 查询不同格式的数据集。
• 可视化数据和查询结果。

课程形式

• 互动讲座和讨论。
• 大量练习和实践。
• 在实时实验室环境中进行实际操作。

课程定制选项

• 如需为此课程定制培训，请联系我们安排。

Stratio是一个以数据为中心的平台，集成了大数据、人工智能和治理功能，提供一体化解决方案。其Rocket和Intelligence模块支持在企业环境中快速进行数据探索、转换和高级分析。

本次由讲师指导的培训（线上或线下）面向中级数据专业人员，旨在帮助他们有效使用Stratio中的Rocket和Intelligence模块与PySpark，重点涵盖循环结构、用户自定义函数和高级数据逻辑。

培训结束后，参与者将能够：

• 在Stratio平台中导航并使用Rocket和Intelligence模块。
• 在数据摄取、转换和分析中应用PySpark。
• 使用循环和条件逻辑控制数据工作流和特征工程任务。
• 创建并管理用户自定义函数（UDFs），以在PySpark中实现可重用的数据操作。

课程形式

• 互动式讲座与讨论。
• 大量练习与实践。
• 在实时实验室环境中进行动手操作。

课程定制选项

• 如需为本课程定制培训，请联系我们安排。

本课程由讲师主导，在 中国 提供线上或线下培训，面向希望设置 Talend Administration Center 以部署和管理组织角色与任务的系统管理员、数据科学家和业务分析师。

培训结束后，学员将能够：

• 安装和配置 Talend Administration Center。
• 理解并实施 Talend 管理基础知识。
• 在 Talend 中构建、部署和运行业务项目或任务。
• 监控数据集的安全性，并基于 TAC 框架开发业务例程。
• 获得对大数据应用的更广泛理解。

本课程由讲师主导，在中国提供线上或线下培训，旨在帮助初级到中级数据分析师深入了解并提升使用Talend数据管理工具管理和改善数据质量的技能。

在课程结束时，学员将能够：

• 全面了解数据管理在维护数据质量中的作用。
• 使用Talend数据管理工具处理数据质量任务。
• 在Talend数据管理中创建、分配和管理任务，包括工作流定制。
• 利用工具的报表和监控功能，跟踪数据质量和管理工作。