Building Data Pipelines with Apache Kafka培训

本课程适用于企业架构师，开发人员，系统管理员以及任何想要了解和使用高吞吐量分布式消息传递系统的人员。如果您有更多特定要求（例如，仅限系统管理方），可以根据您的需求定制本课程。

Apache Samza是一个用于流处理的开源近实时异步计算框架。它使用Apache Kafka进行消息传递，使用Apache Kafka Hadoop YARN进行容错，处理器隔离，安全性和资源管理。

这个由讲师指导的实时培训介绍了消息传递系统和分布式流处理背后的原理，同时通过创建基于Samza的示例项目和作业执行来引导参与者。

在培训结束时，参与者将能够：

• 使用Samza简化生成和使用消息所需的代码。
• 解耦来自应用程序的消息处理。
• 使用Samza实现近实时异步计算。
• 使用流处理为消息传递系统提供更高级别的抽象。

听众

• 开发商

课程形式

• 部分讲座，部分讨论，练习和繁重的实践练习

Kafka Streams是一个客户端库，用于构建应用程序和微服务，其数据传入和传出Kafka消息传递系统。传统上， Apache Kafka依靠Apache Spark或Apache Storm来处理消息生成者和消费者之间的数据。通过在应用程序内调用Kafka Streams API，可以直接在Kafka中处理数据，从而无需将数据发送到单独的集群进行处理。

在这个由讲师指导的实时培训中，参与者将学习如何将Kafka Streams集成到一组示例Java应用程序中，这些应用程序将数据传入和传出Apache Kafka以进行流处理。

在培训结束时，参与者将能够：

• 了解Kafka Streams的功能和优势，而不是其他流处理框架
• 直接在Kafka集群中处理流数据
• 编写与Kafka和Kafka Streams集成的Java或Scala应用程序或微服务
• 编写简洁的代码，将输入的Kafka主题转换为输出Kafka主题
• 构建，打包和部署应用程序

听众

• 开发商

课程 格式

• 部分讲座，部分讨论，练习和繁重的实践练习

笔记

• 要申请本课程的定制培训，请联系我们安排

在这个以讲师为主导的中国现场培训（现场或远程）中，参与者将学习如何设置不同的Stream Processing框架并将其与现有的大数据存储系统以及相关的软件应用程序和微服务集成。

在培训结束时，参与者将能够：

• 安装和配置不同的 Stream Processing 框架，例如 Spark Streaming 和 Kafka Streaming。
• 了解并选择最适合工作的框架。
• 以逐条记录的方式连续、并发地处理数据。
• 将 Stream Processing 解决方案与现有数据库、数据仓库、数据湖等集成。
• 将最合适的流处理库与企业应用程序和微服务集成 。

这种以讲师为主导的现场培训（现场或远程）是针对希望使用Confluent（Kafka的分发）为其应用程序构建和管理实时数据处理平台的工程师。

在培训结束时，参与者将能够：

• 安装和配置Confluent Platform。
• 使用Confluent的管理工具和服务可以更轻松地运行Kafka。
• 存储和处理传入的流数据。
• 优化和管理Kafka集群。
• 安全的数据流。

课程格式

• 互动讲座和讨论。
• 大量的练习和练习。
• 在实时实验室环境中亲自实施。

课程自定义选项

• 本课程基于Confluent：Confluent Open Source的开源版本。
• 要申请本课程的定制培训，请联系我们安排。

这种以讲师为主导的中国现场培训（现场或远程）针对的是希望使用Spring Cloud，Kafka，Docker，Kubernetes和Redis将传统架构转换为高度并发的基于微服务的架构的开发人员。

在培训结束时，参与者将能够：

• 设置构建微服务所需的开发环境。
• 使用 Spring Cloud、Kafka、Redis、Docker 和 Kubernetes 设计和实现高度并发的微服务生态系统。
• 将单体式和 SOA 服务转变为基于微服务的架构。
• 采用 DevOps 方法来开发、测试和发布软件。
• 确保生产中微服务之间的高并发性。
• 监控微服务并实施恢复策略。
• 执行性能调优。
• 了解微服务架构的未来趋势。

这种以讲师为主导的中国现场现场培训针对的是希望将Apache Kafka与现有数据库和应用程序集成以进行处理，分析等的开发人员。

在培训结束时，参与者将能够：

使用 Kafka
• Connect 将大量数据从数据库引入到 Kafka 主题中。
将
• 应用服务器产生的日志数据引入 Kafka 主题。
• 使收集的任何数据可用于流处理。
• 将数据从 Kafka 主题导出到辅助系统进行存储和分析。

这种以讲师为主导的中国现场培训（现场或远程）针对的是希望在不编写代码的情况下实现Apache Kafka流处理的开发人员。

在培训结束时，参与者将能够：

• 安装和配置 Confluent KSQL。
• 仅使用 SQL 命令（不使用 Java 或 Python 编码）设置流处理管道。
• 完全在 SQL 中执行数据过滤、转换、聚合、联接、窗口化和会话化。
• 设计和部署交互式连续查询，用于流式 ETL 和实时分析。

这种以讲师为主导的中国现场现场培训针对的是希望设置，部署，管理和优化企业级Kafka集群的系统管理员。

在培训结束时，参与者将能够：

• 设置和管理 Kafka 集群。
• 评估在本地部署 Kafka 与在云中部署 Kafka 的优缺点。
• 使用各种本地和云环境工具部署和监控 Kafka。

这种以讲师为主导的中国现场现场培训（现场或远程）针对的是希望在Apache Kafka应用程序中实施网络安全 措施 的软件测试人员。

在培训结束时，参与者将能够：

• 将 Apache Kafka 部署到基于云的服务器上。
• 实施SSL加密以防止攻击。
• 添加 ACL 身份验证以跟踪和控制用户访问。
• 确保可信客户端能够使用 SSL 和 SASL 身份验证访问 Kafka 集群。

这种以讲师为主导的中国现场现场培训针对的是希望使用SMACK堆栈为大数据解决方案构建数据处理平台的数据科学家。

在培训结束时，参与者将能够：

• 实施用于处理大数据的数据管道体系结构。
• 使用 Apache Mesos 和 Docker 开发集群基础架构。
• 使用 Spark 和 Scala 分析数据。
• 使用 Apache Cassandra 管理非结构化数据。

这种以讲师为主导的中国现场现场培训面向希望在数据流中使用Apache Kafka功能的数据工程师，数据科学家和程序员Python。

在培训结束时，参与者将能够使用 Apache Kafka 通过 Python 编程来监控和管理连续数据流中的条件。

这种由讲师指导的中国现场现场培训针对的是希望使用Spark Streaming功能处理和分析实时数据的数据工程师，数据科学家和程序员。

在培训结束时，参与者将能够使用 Spark Streaming 处理实时数据流，以便在数据库、文件系统和实时仪表板中使用。

这种由讲师指导的现场培训中国（现场或远程）面向希望使用 Apache Kafka 开发大数据应用程序的中级开发人员。

在本次培训结束时，参与者将能够：

开发 Kafka 生产者和消费者，以便从 Kafka 发送和读取数据。 使用 Kafka Connect 将 Kafka 与外部系统集成。 使用 Kafka Streams 和 ksqlDB 编写流应用程序。 将 Kafka 客户端应用程序与 Confluent Cloud 集成，以实现基于云的 Kafka 部署。 通过动手练习和实际用例获得实践经验。

这种以讲师为主导的中国现场现场培训针对的是希望学习Kafka基础知识并将其与Spring Boot集成的中级开发人员。

在培训结束时，参与者将能够：

了解 Kafka 及其架构。 了解如何安装、配置和设置基本的 Kafka 环境。 将 Kafka 与 Spring Boot 集成。