中国现场Stream processing培训

这种以讲师为主导的现场培训（现场或远程）是针对希望使用Confluent（Kafka的分发）为其应用程序构建和管理实时数据处理平台的工程师。 在培训结束时，参与者将能够：

• 安装和配置Confluent Platform。
• 使用Confluent的管理工具和服务可以更轻松地运行Kafka。
• 存储和处理传入的流数据。
• 优化和管理Kafka集群。
• 安全的数据流。

课程格式

• 互动讲座和讨论。
• 大量的练习和练习。
• 在实时实验室环境中亲自实施。

课程自定义选项

• 本课程基于Confluent：Confluent Open Source的开源版本。
• 要申请本课程的定制培训，请联系我们安排。

在这个以讲师为主导的中国现场培训（现场或远程）中，参与者将学习如何设置不同的Stream Processing框架并将其与现有的大数据存储系统以及相关的软件应用程序和微服务集成。 在培训结束时，参与者将能够：

• 安装和配置不同的 Stream Processing 框架，例如 Spark Streaming 和 Kafka Streaming。
• 了解并选择最适合工作的框架。
• 以逐条记录的方式连续、并发地处理数据。
• 将 Stream Processing 解决方案与现有数据库、数据仓库、数据湖等集成。
• 将最合适的流处理库与企业应用程序和微服务集成 。

这种以讲师为主导的中国现场培训（现场或远程）针对数据工程师，数据科学家和程序员，他们希望在数据流中使用Apache Kafka功能Python。 在本次培训结束时，参与者将能够使用 Apache Kafka 通过 Python 编程来监控和管理连续数据流中的条件。

Kafka Streams是一个客户端库，用于构建应用程序和微服务，其数据传入和传出Kafka消息传递系统。传统上， Apache Kafka依靠Apache Spark或Apache Storm来处理消息生成者和消费者之间的数据。通过在应用程序内调用Kafka Streams API，可以直接在Kafka中处理数据，从而无需将数据发送到单独的集群进行处理。 在这个由讲师指导的实时培训中，参与者将学习如何将Kafka Streams集成到一组示例Java应用程序中，这些应用程序将数据传入和传出Apache Kafka以进行流处理。 在培训结束时，参与者将能够：

• 了解Kafka Streams的功能和优势，而不是其他流处理框架
• 直接在Kafka集群中处理流数据
• 编写与Kafka和Kafka Streams集成的Java或Scala应用程序或微服务
• 编写简洁的代码，将输入的Kafka主题转换为输出Kafka主题
• 构建，打包和部署应用程序

听众

• 开发商

课程 格式

• 部分讲座，部分讨论，练习和繁重的实践练习

笔记

• 要申请本课程的定制培训，请联系我们安排

Apache Samza是一个用于流处理的开源近实时异步计算框架。它使用Apache Kafka进行消息传递，使用Apache Kafka Hadoop YARN进行容错，处理器隔离，安全性和资源管理。 这个由讲师指导的实时培训介绍了消息传递系统和分布式流处理背后的原理，同时通过创建基于Samza的示例项目和作业执行来引导参与者。 在培训结束时，参与者将能够：

• 使用Samza简化生成和使用消息所需的代码。
• 解耦来自应用程序的消息处理。
• 使用Samza实现近实时异步计算。
• 使用流处理为消息传递系统提供更高级别的抽象。

听众

• 开发商

课程形式

• 部分讲座，部分讨论，练习和繁重的实践练习

这种以讲师为主导的中国现场培训（现场或远程）针对希望使用Spark Streaming功能处理和分析实时数据的数据工程师，数据科学家和程序员。 在本次培训结束时，参与者将能够使用 Spark Streaming 处理实时数据流，以便在数据库、文件系统和实时仪表板中使用。

这个由 讲师指导的 中国 现场培训（在线或现场）面向希望在不编写代码的情况下实现 Apache Kafka 流处理的开发人员。 在本次培训结束时，参与者将能够：

• 安装和配置 Confluent KSQL。
• 仅使用 SQL 命令（无 Java 或 Python 编码）设置流处理管道。
• 完全在 SQL 中执行数据过滤、转换、聚合、连接、视窗化和会话化。
• 为流式 ETL 和即时分析设计和部署互动式连续查询。

此讲师指导的 中国 现场培训（在线或现场）面向希望在逐步创建示例记忆体计算专案时了解持久和纯记忆体存储背后的原理的开发人员。 在本次培训结束时，参与者将能够：

• 使用 Ignite 实现记忆体中、磁碟上的持久性以及纯分散式记忆体资料库。
• 无需将数据同步回关系资料库即可实现持久性。
• 使用 Ignite 执行 SQL 和分散式连接。
• 通过使用 RAM 作为储存将数据移近 CPU 来提高性能。
• 将数据集分布在集群中，以实现水准可扩展性。
• 将 Ignite 与 RDBMS、NoSQL、Hadoop 和机器学习处理器集成。

Apache Beam 是一个开源的统一程式设计模型，用于定义和执行并行数据处理管道。它的强大之处在于它能够同时运行批处理和流式管道，执行由 Beam 支援的分散式处理后端之一执行：Apache Apex、Apache Flink、Apache Spark 和 Google Cloud Dataflow。Apache Beam 对于 ETL（提取、转换和载入）任务非常有用，例如在不同的存储介质和数据源之间移动数据、将数据转换为更理想的格式以及将数据载入到新系统。 在这个由讲师指导的现场培训（现场或远端）中，参与者将学习如何在 Java 或 Python 应用程式中实施 Apache Beam SDK，该应用程式定义了一个数据处理管道，用于将大数据集分解成更小的块，以进行独立的并行处理。 在本次培训结束时，参与者将能够：

• 安装和配置 Apache Beam。
• 使用单个程式设计模型从其 Java 或 Python 应用程式执行批处理和流处理。
• 跨多个环境执行管道。

课程形式

• 部分讲座、部分讨论、练习和大量动手实践

注意

• 本课程将在未来提供 Scala。请联系我们安排。

Apache Apex 是一个统一流和批处理的 YARN 原生平台。它以可扩展、高性能、容错、有状态、安全、分散式且易于操作的方式处理动态大数据。 这个由讲师指导的现场培训介绍了 Apache Apex 的统一流处理架构，并引导参与者在 Hadoop 上使用 Apex 创建分散式应用程式。 在本次培训结束时，参与者将能够：

• 了解数据处理管道概念，例如源和接收器的连接器、常见数据转换等。
• 构建、扩展和优化 Apex 应用程式
• 以最小的延迟可靠地处理实时数据流
• 使用 Apex Core 和 Apex Malhar 库实现快速应用程式开发
• 使用 Apex API 编写和重用现有的 Java 代码
• 将 Apex 作为处理引擎整合到其他应用程式中
• 调整、测试和扩展 Apex 应用程式

课程形式

• 互动讲座和讨论。
• 大量的练习和练习。
• 在即时实验室环境中动手实施。

课程自定义选项

• 要申请本课程的定制培训，请联系我们进行安排。

Apache Storm 是一个分散式实时计算引擎，用于实现即时商业智慧。它通过使应用程式能够可靠地处理无限的数据流（也称为流处理）来实现这一点。 “Storm 用于实时处理，就像 Hadoop 用于批处理一样！” 在这个讲师指导的现场培训中，参与者将学习如何安装和配置 Apache Storm，然后开发和部署 Apache Storm 应用程式以实时处理大数据。 本培训中包含的一些主题包括：

• Apache Storm 在 Hadoop 的上下文中
• 使用无界数据
• 连续计算
• 即时分析
• 分散式 RPC 和 ETL 处理

立即申请此课程！ 观众

• 软体和 ETL 开发人员
• 大型机专业人员
• 数据科学家
• 大数据分析师
• Hadoop 专业人士

课程形式

•     部分讲座、部分讨论、练习和大量动手实践

在这个以讲师为主导的中国现场或远端培训中，参与者将学习如何在实时实验室环境中部署和管理Apache NiFi。 在培训结束时，参与者将能够：

• 安装并配置 Apachi NiFi。
• 从不同的分散式数据源（包括资料库和大数据湖）中获取、转换和管理数据。
• 自动化数据流。
• 启用流分析。
• 应用各种方法进行数据引入。
• 转换 Big Data 并转化为业务洞察。

在这个由讲师指导的 中国 现场培训中，参与者将学习基于流程的程式设计的基础知识，因为他们使用 Apache NiFi 开发许多演示扩展、元件和处理器。 在培训结束时，参与者将能够：

• 了解 NiFi 的架构和数据流概念。
• 使用 NiFi 和第三方 API 开发扩展。
• 定制开发自己的Apache Nifi处理器。
• 从不同和不常见的档格式和数据源中摄取和处理实时数据。

这个由 中国 的讲师指导式现场培训（在线或现场）介绍了分散式流和批处理数据处理背后的原理和方法，并引导参与者在 Apache Flink 中创建实时数据流应用程式。 在本次培训结束时，参与者将能够：

• 设置用于开发数据分析应用程式的环境。
• 了解 Apache Flink 的 图形处理库 （Gelly） 的工作原理。
• 打包、执行和监控基于 Flink 的容错数据流应用程式。
• 管理各种工作负载。
• 执行高级分析。
• 设置多节点 Flink 集群。
• 衡量和优化性能。
• 将 Flink 与不同的 Big Data 系统集成。
• 将 Flink 功能与其他大数据处理框架的功能进行比较。