Sqoop and Flume for Big Data培训

在这个由讲师指导的中国现场培训中，参与者将学习如何构建Data Vault。

在培训结束时，参与者将能够：

• 了解 Data Vault 2.0 背后的架构和设计概念，以及它与大数据、NoSQL 和 AI 的交互。
• 使用数据保险存储技术对数据仓库中的历史数据进行审计、跟踪和检查。
• 开发一致且可重复的 ETL（提取、转换、加载）流程。
• 构建和部署高度可扩展且可重复的仓库。

这种由讲师指导的中国现场现场培训针对的是希望使用Spark Streaming功能处理和分析实时数据的数据工程师，数据科学家和程序员。

在培训结束时，参与者将能够使用 Spark Streaming 处理实时数据流，以便在数据库、文件系统和实时仪表板中使用。

这种以讲师为主导的中国现场培训（现场或远程）针对的是希望在不编写代码的情况下实现Apache Kafka流处理的开发人员。

在培训结束时，参与者将能够：

• 安装和配置 Confluent KSQL。
• 仅使用 SQL 命令（不使用 Java 或 Python 编码）设置流处理管道。
• 完全在 SQL 中执行数据过滤、转换、聚合、联接、窗口化和会话化。
• 设计和部署交互式连续查询，用于流式 ETL 和实时分析。

这种由讲师指导的中国现场现场培训面向希望在逐步创建示例内存计算项目时学习持久性和纯内存存储背后的原理的开发人员。

在培训结束时，参与者将能够：

使用 Ignite 实现内存中、磁盘上的持久性以及纯分布式内存中数据库。 在不将数据同步回关系数据库的情况下实现持久性。 使用 Ignite 执行 SQL 和分布式联接。 通过使用 RAM 作为存储，将数据移动到更靠近 CPU 的位置来提高性能。 将数据集分布在集群中，以实现水平可扩展性。 将 Ignite 与 RDBMS、NoSQL、Hadoop 和机器学习处理器集成。

Apache Beam是一个开源的统一编程模型，用于定义和执行并行数据处理管道。它的强大之处在于它能够同时运行批处理流和流式管道，并且由Beam支持的分布式处理后端之一执行：Apache Apex，Apache Flink，Apache Spark和Google Cloud Dataflow。 Apache Beam可用于ETL（提取，转换和加载）任务，如在不同存储介质和数据源之间移动数据，将数据转换为更理想的格式以及将数据加载到新系统中。 在这个有指导意义的现场培训（现场或远程）中，参与者将学习如何在Java或Python应用程序中实现Apache Beam SDK，该应用程序定义了一个数据处理管道，用于将大数据集分解为更小的块，以进行独立的并行处理。 在培训结束后，参与者将能够： 安装并配置Apache Beam。 使用单一编程模型来执行批处理和流处理，而不是使用其Java或Python应用程序。 在多个环境中执行管道。 听众 开发商 课程的格式 部分讲座，部分讨论，练习和沉重的练习 注意 此课程将在未来可用于Scala。请联系我们安排。

Apache Apex是一个统一流和批处理的YARNnative平台。它以可伸缩，高性能，容错，有状态，安全，分布式和易于操作的方式处理大型数据移动。 这个有指导性的现场培训介绍了Apache Apex的统一流处理架构，并向参与者介绍了如何在Hadoop上使用Apex创建分布式应用程序。 在培训结束后，参与者将能够： 了解数据处理管道概念，例如源和汇的连接器，通用数据转换等。 构建，扩展和优化Apex应用程序可靠地处理实时数据流，延迟时间最短使用Apex Core和Apex Malhar库实现快速应用程序开发使用Apex API来编写和重用现有的Java代码将Apex作为处理引擎集成到其他应用程序中调整，测试和缩放Apex应用程序 听众 开发商企业架构师 课程的格式 部分讲座，部分讨论，练习和沉重的练习

Apache Storm是一款分布式实时计算机,用于实时业务智能。 它这样做,使应用程序能够可靠地处理无限制的数据流(例如: 流量处理)

"Storm 是用于实时处理,而 Hadoop 是用于集合处理!"

在本教练引导的现场培训中,参与者将学习如何安装和配置,然后开发和部署一个应用程序,以实时处理大数据。

在本培训中包含的一些主题包括:

• Apache Storm在背景下 Hadoop
• 使用无限数据
• 持续计算
• 实时分析
• 分布式RPC和ETL处理

请求此课程!

观众

• 软件和ETL开发人员
• 主要专业人士
• 数据科学家
• 大数据分析师
• [ ] 专业人士

课程格式

• 部分讲座,部分讨论,练习和重练习

在这个由讲师指导的中国现场（现场或远程）的现场培训中，参与者将学习如何在现场实验室环境中部署和管理Apache NiFi。

在培训结束时，参与者将能够：

• 安装和配置 Apachi NiFi。
• 从不同的分布式数据源（包括数据库和大数据湖）中获取、转换和管理数据。
• 自动化数据流。
• 启用流式分析。
• 应用各种方法进行数据引入。
• 转换 Big Data 并转化为业务见解。

在这个由讲师指导的中国现场培训中，参与者将学习基于流程的编程的基础知识，因为他们使用Apache NiFi开发许多演示扩展，组件和处理器。

在培训结束时，参与者将能够：

• 了解 NiFi 的架构和数据流概念。
• 使用 NiFi 和第三方 API 开发扩展。
• 定制开发自己的Apache Nifi处理器。
• 从不同且不常见的文件格式和数据源中提取和处理实时数据。

这个由讲师指导的中国 现场（远程或远程）的现场培训介绍了分布式流和批处理数据处理背后的原理和方法，并引导参与者在Apache Flink中创建实时数据流应用程序。

在培训结束时，参与者将能够：

设置用于开发数据分析应用程序的环境。 了解 Apache Flink 的 图形处理库 （Gelly） 是如何工作的。 打包、执行和监控基于 Flink 的容错数据流应用程序。 管理各种工作负载。 执行高级分析。 设置多节点 Flink 集群。 衡量和优化性能。 将 Flink 与不同的 Big Data 系统集成。 将 Flink 的能力与其他大数据处理框架进行比较。

在这个由讲师指导的 中国 现场培训中，参与者将学习如何在动手练习时结合使用 Python 和 Spark 来分析大数据。

在培训结束时，参与者将能够：

• 了解如何将 Spark 与 Python 结合使用来分析大数据。
• 进行模仿真实案例的练习。
• 使用不同的工具和技术使用 PySpark 进行大数据分析。

在这个以讲师为主导的中国现场培训中，参与者将了解用于处理图形数据的技术产品和实施方法。目的是识别真实世界的对象、它们的特征和关系，然后对这些关系进行建模，并使用 Graph Computing（也称为图形分析）方法将它们作为数据进行处理。我们从广泛的概述开始，并在逐步完成一系列案例研究、动手练习和实时部署时缩小具体工具的范围。

在培训结束时，参与者将能够：

• 了解如何持久化和遍历图形数据。
• 为给定任务选择最佳框架（从图形数据库到批处理框架）。
• 实现 Hadoop、Spark、GraphX 和 Pregel，在多台机器上并行进行图计算。
• 从图形、流程和遍历的角度查看现实世界的大数据问题。

本课程面向希望在其应用程序中理解和实施人工智能的开发人员和数据科学家。 特别关注数据分析、分布式人工智能和自然语言处理。

MLlib是Spark的机器学习（ML）库。其目标是使实用的机器学习可扩展且简单。它由常见的学习算法和实用程序组成，包括分类，回归，聚类，协同过滤，降维，以及低级优化原语和更高级别的管道API。

它分为两个包：

• spark.mllib包含在RDD之上构建的原始API。

• spark.ml提供了构建在DataFrame之上的更高级API，用于构建ML管道。

听众

本课程面向希望利用Apache Spark内置机器库的工程师和开发人员

数据库中的知识发现(KDD)是从数据收集中发现有用的知识的过程。 这些数据采矿技术的实用应用包括营销、欺诈检测、电信和制造。

在本导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导导

观众

• 数据分析师或任何有兴趣学习如何解释数据以解决问题的人

课程格式

• 经过对KDD的理论讨论后,教练将介绍现实生活的案例,要求KDD的应用解决问题。 参与者将准备、选择和清理样品数据集,并使用他们对数据的先前知识,以根据他们的观察结果提出解决方案。