厦门大数据培训

Stratio 是一个以数据为中心的平台，将大数据、人工智慧和治理整合到单一解决方案中。其 Rocket 和 Intelligence 模组使企业环境中的数据探索、转换和高级分析变得迅速。

这是一个由讲师指导的培训（线上或线下），针对希望有效使用 Stratio 中 Rocket 和 Intelligence 模组的中级数据专业人员，重点关注循环结构、用户自定义函数和高级数据逻辑。

在培训结束时，参与者将能够：

• 使用 Rocket 和 Intelligence 模组在 Stratio 平台中导航和工作。
• 在数据撷取、转换和分析的背景下应用 PySpark。
• 使用循环和条件逻辑来控制数据工作流和特征工程任务。
• 创建和管理用户自定义函数 (UDFs)，以在 PySpark 中进行可重用的数据操作。

课程形式

• 互动式讲座和讨论。
• 大量练习和实践。
• 在实时实验室环境中进行实践操作。

课程定制选项

• 如需为此课程请求定制培训，请联系我们安排。

数据仓库是设计、构建和操作集中式数据存储库的实践，旨在支持分析、报告和决策。

本课程为讲师指导的培训（线上或线下），面向中级数据专业人员，旨在帮助他们学习维度数据建模、构建稳健的ETL管道以及优化分析工作负载。

培训结束后，学员将能够：

• 解释数据仓库的核心概念和架构。
• 设计维度模型，并在星型模式和雪花模式之间做出选择。
• 可靠地构建和编排ETL和ELT管道。
• 区分OLTP与OLAP工作负载，并优化分析性能。

课程形式

• 互动式讲座和讨论。
• 大量练习和实践。
• 在实时实验环境中进行实际操作。

课程定制选项

• 如需为本课程定制培训，请联系我们进行安排。

在 厦门 完成此讲师指导的现场培训的参与者将获得对 Big Data 及其相关技术、方法和工具的实用、真实理解。

参与者将有机会通过动手练习将这些知识付诸实践。小组互动和教师反馈构成了课程的重要组成部分。

本课程首先介绍了 Big Data 的基本概念，然后进入用于执行 Data Analysis 的程式设计语言和方法。最后，我们讨论了支援 Big Data 存储、分散式处理和 Scala 特性的工具和基础设施。

Greenplum 是一个开源的大规模平行处理 (MPP) 数据平台，专为分析和大规模数据环境设计。

这是一个由讲师指导的培训（线上或线下），旨在帮助中级到高级的技术用户理解 Greenplum 的内部架构，建立优化的数据模型，并在分散式环境中应用高性能 SQL。

在培训结束时，参与者将能够：

• 理解 Greenplum 的共享无架构和并行模型。
• 设计优化查询性能的分散式表结构和分区。
• 使用索引策略、存储格式和物理设计技术。
• 解释 EXPLAIN 计划并使用最佳实践优化查询。

课程形式

• 互动式讲座和讨论。
• 大量练习和实践。
• 在即时实验室环境中进行动手实作。

课程定制选项

• 如需为本课程定制培训，请联系我们安排。

Greenplum 是一个基于 PostgreSQL 的开源大规模并行数据平台，专为高级分析和大型数据仓储设计。

这项由讲师指导的培训（线上或线下）针对中级管理员，旨在帮助他们有效安装、配置和管理 Greenplum 环境，包括管理系统更新和函式库。

在培训结束时，参与者将能够：

• 安装和配置生产就绪的 Greenplum 集群。
• 安全地管理系统更新和应用补丁。
• 处理 Greenplum 函式库管理，用于分析和扩展。
• 排除故障并监控 Greenplum 系统。

课程形式

• 互动式讲座和讨论。
• 在受控实验室环境中实际操作 Greenplum。
• 专注于集群设置、升级工作流程和系统扩展的指导练习。

课程定制选项

• 如需根据您的环境或数据平台为本课程定制培训，请联系我们安排。

这种以讲师为主导的<现场培训>（在线或现场）面向希望优化数据处理工作流程、确保数据完整性并实施能够处理现代大数据应用程序复杂性的强大数据湖仓一体解决方案的高级数据专业人员。

在培训结束时，参与者将能够：

• 深入了解 Iceberg 的架构，包括元数据管理和文件布局。
• 配置 Iceberg 以在各种环境中实现最佳性能，并将其与多个数据处理引擎集成。
• 管理大规模 Iceberg 表，执行复杂的架构更改，并处理分区演变。
• 掌握优化大型数据集查询性能和数据扫描效率的技术。
• 实施机制以确保数据一致性、管理事务保证和处理分布式环境中的故障。

这种以讲师为主导的 <>loc（在线或远程）实时培训面向希望获得有效利用 Apache Iceberg 管理大规模数据集、确保数据完整性和优化数据处理工作流程所需的知识和技能的初级数据专业人员。

在培训结束时，参与者将能够：

• 全面了解 Apache Iceberg 的架构、功能和优势。
• 了解表格式、分区、架构演变和时间旅行功能。
• 在不同的环境中安装和配置 Apache Iceberg。
• 创建、管理和操作 Iceberg 表。
• 了解将数据从其他表格式迁移到 Iceberg 的过程。

这种以讲师为主导的 厦门（在线或现场）现场培训面向希望提高数据架构、治理、云计算和大数据技术技能的中级 IT 专业人员，以有效管理和分析大型数据集以在组织内进行数据迁移。

在培训结束时，参与者将能够：

• 了解各种数据架构的基本概念和组件。
• 全面了解数据治理原则及其在监管环境中的重要性。
• 实施和管理数据治理框架，例如 Dama 和 Togaf。
• 利用云平台实现高效的数据存储、处理和管理。

这种由讲师指导的 厦门（远程或远程）实时培训面向希望了解如何使用 Azure Data Lake Storage Gen2 实现有效数据分析解决方案的中级数据工程师。

在培训结束时，参与者将能够：

• 了解 Azure Data Lake Storage Gen2 的体系结构和主要功能。
• 优化数据存储和访问，提高成本和性能。
• 将 Azure Data Lake Storage Gen2 与其他 Azure 服务集成，以进行分析和数据处理。
• 使用 Azure Data Lake Storage Gen2 API 开发解决方案。
• 解决常见问题并优化存储策略。

Big Data 和高级分析是应用复杂技术和工具来分析大型、复杂数据集，以获取可操作的洞察和战略决策支持。

本次由讲师指导的培训（线上或线下）面向高级数据专业人员，旨在帮助他们利用前沿的分析方法和大数据技术进行预测性、规范性和实时性分析。

培训结束后，参与者将能够：

• 设计和实施大规模数据处理管道，处理结构化和非结构化数据。
• 将高级机器学习和深度学习技术应用于海量数据集。
• 利用分布式计算框架进行实时分析和数据流处理。
• 将大数据分析集成到商业智能和决策支持系统中。

课程形式

• 互动式讲座和讨论。
• 大量练习和实践。
• 在实时实验环境中进行动手操作。

课程定制选项

• 如需为本课程定制培训，请联系我们安排。

这种以讲师为主导的厦门现场培训（现场或远程）面向希望从管理和开发角度全面了解IBM DataStage的中级IT专业人员，使他们能够在各自的工作场所有效地管理和利用此工具。

在培训结束时，参与者将能够：

• 了解 DataStage 的核心概念。
• 了解如何有效地安装、配置和管理 DataStage 环境。
• 连接到各种数据源，并从数据库、平面文件和外部源高效提取数据。
• 实施有效的数据加载技术。

这是由讲师指导的厦门（线上或线下）培训，针对希望利用Apache Kylin构建即时数据仓库并对大规模数据集进行多维分析的中级大数据专业人员。

在培训结束时，参与者将能够：

• 设置和配置Apache Kylin以处理即时流数据源。
• 设计和构建用于批处理和流数据的OLAP立方体。
• 使用Kylin的SQL界面执行具有亚秒级延迟的复杂查询。
• 将Kylin与BI工具集成，以实现互动式数据可视化。
• 在Kylin中有效优化性能并管理资源。

参与者在完成此由讲师指导的厦门线下培训后，将获得对Big Data及其相关技术、方法和工具的实际且实用的理解。

参与者将有机会通过动手练习将这些知识应用于实践。小组互动和讲师反馈是课程的重要组成部分。

课程首先介绍Big Data的基本概念，然后进入用于执行Data Analysis的程式语言和方法。最后，我们讨论支持Big Data存储、分散式处理和可扩展性的工具和基础设施。

在这个由讲师指导的 厦门 现场培训中，参与者将学习如何在动手练习中同时使用 Python 和 Spark 来分析大数据。

在培训结束时，参与者将能够：

• 了解如何将 Spark 与 Python 结合使用来分析 Big Data。
• 进行模仿真实世界案例的练习。
• 使用 PySpark 使用不同的工具和技术进行大数据分析。

本课程介绍如何从Hive提取数据的人员使用Hive SQL语言（AKA： Hive HQL， Hive SQL ， Hive QL）

此讲师指导的厦门（线上或线下）培训课程针对中级数据库管理员、开发人员和分析师，旨在帮助他们掌握SQL的高级功能，以进行复杂的数据操作和数据库管理。

培训结束时，学员将能够：

• 使用联合查询、子查询和复杂联接进行高级查询操作。
• 精确地添加、更新和删除数据、表、视图和索引。
• 通过事务确保数据完整性，并操作数据库结构。
• 高效创建和管理数据库，实现稳健的数据存储和检索。

Dremio 是一个开源的“自助式数据平台”，可加速不同类型数据源的查询。Dremio 与关系资料库、Apache Hadoop、MongoDB、Amazon S3、ElasticSearch 和其他数据源集成。它支援 SQL 并提供用于构建查询的Web UI。

在这个由讲师指导的现场培训中，参与者将学习如何安装、配置和使用 Dremio 作为数据分析工具和底层数据存储库的统一层。

在本次培训结束时，参与者将能够：

• 安装和配置 Dremio
• 对多个数据源执行查询，无论位置、大小或结构如何
• 将 Dremio 与 BI 和数据源（如 Tableau 和 Elasticsearch） 集成

观众

• 数据科学家
• Business 分析师
• 数据工程师

课程形式

• 部分讲座、部分讨论、练习和大量动手实践

笔记

• 要申请本课程的定制培训，请联系我们进行安排。

这种讲师指导的现场培训在 厦门（在线或现场）进行，面向希望提高 Oracle SQL 开发和管理技能的中级资料库专业人员。

在本次培训结束时，参与者将能够：

• 构建和优化复杂的 SQL 查询。
• 使用 Oracle SQL 工具高效管理资料库。
• 在资料库开发和维护中应用最佳实践。
• 在 Oracle 环境中管理使用者访问和资料库安全性。

Apache Accumulo 是一种排序的分散式键/值存储，可提供强大、可扩展的数据存储和检索。它基于 Google 的 BigTable 的设计，并由 Apache Hadoop、Apache Zookeeper 和 Apache Thrift 提供支援。

这个由讲师指导的现场课程涵盖了 Accumulo 背后的工作原理，并引导参与者在 Apache Accumulo 上完成示例应用程式的开发。

课程形式

• 部分讲座，部分讨论，动手开发和实施，偶尔测试以评估理解情况

本课程面向希望在其应用程序中理解和实施人工智能的开发人员和数据科学家。 特别关注数据分析、分布式人工智能和自然语言处理。

Amazon Redshift 是 AWS 中基于云的 PB 级数据仓库服务。

在这个由讲师指导的现场培训中，参与者将学习 Amazon Redshift 的基础知识。

在本次培训结束时，参与者将能够：

• 安装与设定Amazon Redshift
• 使用 Amazon Redshift 载入、配置、部署、查询和可视化数据

观众

• 开发人员
• IT 专业人员

课程形式

• 部分讲座、部分讨论、练习和大量动手实践

注意

• 要申请本课程的定制培训，请联系我们进行安排。

技术的进步和信息量的增加正在改变包括政府在内的许多行业的业务开展方式。Go由于移动设备和应用程序、智能传感器和设备、云计算解决方案以及面向公民的门户的快速增长，数据生成和数字归档率正在上升。随着数字信息的扩展和日益复杂，信息管理、处理、存储、安全和处置也变得更加复杂。新的捕获、搜索、发现和分析工具正在帮助组织从其非结构化数据中获得见解。政府市场正处于一个转折点，他们意识到信息是一种战略资产，政府需要保护、利用和分析结构化和非结构化信息，以便更好地服务和满足任务要求。随着政府领导者努力发展数据驱动型组织以成功完成使命，他们正在为关联事件、人员、流程和信息之间的依赖关系奠定基础。

高价值的政府解决方案将由最具颠覆性的技术混合而成：

• 移动设备和应用程序
• 云服务
• 社交商业技术和网络
• Big Data 和分析

IDC 预测，到 2020 年，IT 行业将达到 5 万亿美元，比现在大约 1.7 万亿美元，而该行业 80% 的增长将由这些第三平台技术推动。从长远来看，这些技术将成为处理日益增长的数字信息复杂性的关键工具。Big Data 是智能行业解决方案之一，它允许政府根据分析大量数据（相关和不相关、结构化和非结构化）所揭示的模式采取行动，从而做出更好的决策。

“理解这些大量的Big Data需要尖端的工具和技术，这些工具和技术可以从大量不同的信息流中分析和提取有用的知识，”白宫科技政策办公室的Tom Kalil和Fen Zhao在OSTP博客上的一篇文章中写道。

白宫在2012年建立国家Big Data研究与开发计划（National Big Data Research and Development Initiative）时，在帮助各机构发现这些技术方面迈出了一步。该计划包括超过 2 亿美元，以充分利用 Big Data 的爆炸式增长以及分析它所需的工具。

Big Data 带来的挑战几乎与它的承诺一样令人生畏。高效存储数据是这些挑战之一。与往常一样，预算紧张，因此机构必须最大限度地降低每兆字节的存储价格，并使数据易于访问，以便用户可以在需要时以需要的方式获取数据。备份海量数据加剧了这一挑战。

有效分析数据是另一个重大挑战。许多机构采用商业工具，使他们能够筛选海量数据，发现可以帮助他们更有效地运营的趋势。（MeriTalk 最近的一项研究发现，联邦 IT 高管认为 Big Data 可以帮助机构节省超过 5000 亿美元，同时实现任务目标。

定制开发的 Big Data 工具还使机构能够满足分析其数据的需求。例如，橡树岭国家实验室的计算数据分析小组已将其食人鱼数据分析系统提供给其他机构。该系统帮助医学研究人员找到了一种联系，可以在主动脉瘤发作之前提醒医生注意主动脉瘤。它还用于更平凡的任务，例如筛选简历以将求职者与招聘经理联系起来。

Apache Beam 是一个开源的统一程式设计模型，用于定义和执行并行数据处理管道。它的强大之处在于它能够同时运行批处理和流式管道，执行由 Beam 支援的分散式处理后端之一执行：Apache Apex、Apache Flink、Apache Spark 和 Google Cloud Dataflow。Apache Beam 对于 ETL（提取、转换和载入）任务非常有用，例如在不同的存储介质和数据源之间移动数据、将数据转换为更理想的格式以及将数据载入到新系统。

在这个由讲师指导的现场培训（现场或远端）中，参与者将学习如何在 Java 或 Python 应用程式中实施 Apache Beam SDK，该应用程式定义了一个数据处理管道，用于将大数据集分解成更小的块，以进行独立的并行处理。

在本次培训结束时，参与者将能够：

• 安装和配置 Apache Beam。
• 使用单个程式设计模型从其 Java 或 Python 应用程式执行批处理和流处理。
• 跨多个环境执行管道。

课程形式

• 部分讲座、部分讨论、练习和大量动手实践

注意

• 本课程将在未来提供 Scala。请联系我们安排。

第1天 - 提供重要的Big Data主题领域的高级概述。该模块分为一系列部分，每个部分都附有实践练习。

第2天 - 探讨一系列与Big Data环境相关的分析实践和工具的主题。它没有涉及实现或编程细节，而是将概念保持在概念层面，重点放在使参与者能够全面了解Big Data解决方案提供的常见分析功能和特性的主题上。

第3天 - 概述与Big Data解决方案平台架构相关的基本和必要主题领域。它涵盖了开发Big Data解决方案平台所需的Big Data机制以及用于组装数据处理平台的架构选项。还提供了常见方案，以便基本了解Big Data解决方案平台的使用方式。

第4天 - 通过探索与Big Data解决方案平台架构相关的高级主题，在第3天构建。特别是，介绍和讨论了构成Big Data解决方案平台的不同架构层，包括数据源，数据入口，数据存储，数据处理和安全性。

第5天 - 涵盖了一系列练习和问题，旨在测试代表们应用第3天和第4天所涵盖主题知识的能力。

在这个以讲师为主导的现场培训中，参与者将学习处理Big Data技术的心态，评估它们对现有过程和政策的影响，并实施这些技术以便识别犯罪活动和预防犯罪。将研究来自全球执法机构的案例研究，以获取有关其采纳方法、挑战和结果的见解。

培训结束时，参与者将能够：

• 在调查中，结合Big Data技术和传统数据收集过程，拼凑出一个故事。
• 实施工业大数据存储和处理解决方案进行数据分析。
• 为采纳最合适的工具和流程以实现以数据为中心的犯罪调查方法准备一份提案。

Big Data是指用于存储和处理大型数据集的解决方案。最初由Go ogle开发，这些Big Data解决方案已经发展并激发了其他类似的项目，其中许多项目都是开源的。 R是金融行业中流行的编程语言。

当传统存储技术无法处理您需要存储的数据量时，就会有大量的替代方案。本课程试图引导参与者存储和分析Big Data替代方案以及他们的优缺点。

本课程主要侧重于解决方案的讨论和介绍，但可根据需要提供动手练习。

该课程是数据科学家技能集（领域：数据和技术）的一部分。

这个基于课堂的培训课程将探索Big Data 。代表们将使用基于计算机的示例和案例研究练习来使用相关的大数据工具

这是一个由讲师指导的培训课程（线上或线下），旨在帮助工程师使用Confluent（Kafka的分发版本）来构建和管理实时数据处理平台，以满足其应用需求。

在培训结束时，参与者将能够：

• 安装和配置Confluent Platform。
• 使用Confluent的管理工具和服务，更轻松地运行Kafka。
• 存储和处理流入的串流数据。
• 优化和管理Kafka集群。
• 确保数据串流的安全性。

课程形式

• 互动式讲座和讨论。
• 大量的练习和实践。
• 在实时实验室环境中进行动手操作。

课程定制选项

• 本课程基于Confluent的开源版本：Confluent Open Source。
• 如需为本课程定制培训，请联系我们安排。

听众

如果您试图理解您可以访问或想要分析网络上可用的非结构化数据（如Twitter，链接等等），那么本课程适合您。

它主要针对需要选择哪些数据值得收集以及值得分析的决策者和人员。

它不是针对人们配置解决方案，但这些人将从大局中受益。

交货方式

在课程期间，代表们将获得大多数开源技术的工作示例。

讲座后将进行简短的讲座，参加者将进行简单的练习

使用的内容和软件

每次运行课程时都会更新所有使用的软件，因此我们会检查最新版本。

它涵盖了从获取，格式化，处理和分析数据的过程，以解释如何使用机器学习自动化决策制定过程。

在这个由 厦门 讲师指导的现场培训中，参与者将学习如何构建 Data Vault。

在本次培训结束时，参与者将能够：

• 了解 Data Vault 2.0 背后的架构和设计概念，以及它与 Big Data、NoSQL 和 AI 的交互。
• 使用数据保险库技术对数据仓库中的历史数据进行审计、跟踪和检查。
• 开发一致且可重复的 ETL（提取、转换、载入）流程。
• 构建和部署高度可扩展且可重复的仓库。

这种由讲师指导的 厦门 现场培训（在线或现场）面向希望使用 Denodo 平台通过数据虚拟化优化和加速数据管理的架构师、开发人员和管理员。

在本次培训结束时，参与者将能够：

• 安装并配置 Denodo 平台。
• 了解 Denodo 平台的功能和架构。
• 了解数据虚拟化的关键概念、优势和使用案例。
• 了解如何配置和管理 Denodo Platform 伺服器。
• 实施数据安全、使用者访问和服务身份验证。
• 应用工具和技术进行运营监控和性能优化。

Apache Druid是一个用Java编写的开源，面向列的分布式数据存储。它旨在快速获取大量事件数据，并对该数据执行低延迟OLAP查询。德鲁伊通常用于商业智能应用程序，以分析大量的实时和历史数据。它还非常适合为最终用户提供快速，交互式分析仪表板。德鲁伊被阿里巴巴，Airbnb， Cisco ，eBay，Netflix，Paypal和雅虎等公司使用。

在这个由讲师指导的实时课程中，我们探讨了数据仓库解决方案的一些局限性，并讨论了德鲁伊如何能够补充这些技术以形成灵活且可扩展的流分析堆栈。我们通过许多示例，为参与者提供在实验室环境中实施和测试基于德鲁伊的解决方案的机会。

课程格式

• 部分讲座，部分讨论，繁重的实践练习，偶尔的测试来衡量理解

大数据是如此庞大和复杂的数据集，传统的数据处理应用软件不足以处理它们。大数据挑战包括捕获数据，数据存储，数据分析，搜索，共享，传输，可视化，查询，更新和信息隐私。

这个由 厦门 的讲师指导式现场培训（在线或现场）介绍了分散式流和批处理数据处理背后的原理和方法，并引导参与者在 Apache Flink 中创建实时数据流应用程式。

在本次培训结束时，参与者将能够：

• 设置用于开发数据分析应用程式的环境。
• 了解 Apache Flink 的 图形处理库 （Gelly） 的工作原理。
• 打包、执行和监控基于 Flink 的容错数据流应用程式。
• 管理各种工作负载。
• 执行高级分析。
• 设置多节点 Flink 集群。
• 衡量和优化性能。
• 将 Flink 与不同的 Big Data 系统集成。
• 将 Flink 功能与其他大数据处理框架的功能进行比较。

在这个由 厦门 的讲师指导式现场培训中，参与者将了解用于处理图形数据的技术产品和实施方法。目的是识别现实世界的物件、它们的特征和关系，然后对这些关系进行建模，并使用 Graph Computing（也称为图形分析）方法将它们作为数据处理。我们从广泛的概述开始，然后逐步完成一系列案例研究、动手练习和即时部署，然后缩小具体工具的范围。

在本次培训结束时，参与者将能够：

• 了解如何持久保存和遍历图形数据。
• 为给定任务选择最佳框架（从图形资料库到批处理框架）。
• 实现 Hadoop、Spark GraphX 和 Pregel 以跨多台机器并行执行图计算。
• 从图形、流程和遍历的角度查看真实的大数据问题。

这种以讲师为主导的厦门现场培训（现场或远程）针对的是希望设置Greenplum Database商业智能和数据仓库解决方案的管理员。

在培训结束时，参与者将能够：

• 使用Greenplum满足加工需求。
• 执行ETL操作进行数据处理。
• 利用现有的查询处理基础结构。

这个由讲师指导的现场培训在 厦门（在线或现场）介绍 Hortonworks Data Platform (HDP) 并引导参与者完成Spark + Hadoop 解决方案的部署。

在本次培训结束时，参与者将能够：

• 使用 Hortonworks 可靠地大规模运行 Hadoop。
• 将 Hadoop 的安全、治理和运营功能与Spark的敏捷分析工作流统一起来。
• 使用 Hortonworks 调查、验证、认证和支援 Spark 专案中的每个元件。
• 处理不同类型的数据，包括结构化、非结构化、动态和静态数据。

Cloudera Impala 是适用于 Apache Hadoop 集群的开源大规模并行处理 （MPP） SQL 查询引擎。

Impala 使用户能够 对存储在 Hadoop 分散式文件系统 和 Apache Hbase 中的数据发出低延迟 SQL 查询，而无需移动或转换数据。

观众

本课程面向 分析师和数据科学家，他们通过 Business Intelligence 或 SQL 工具对存储在 Hadoop 中的数据进行分析。

完成本课程后，学员将能够

• 使用 Impala 从 Hadoop 集群中提取有意义的资讯。
• 编写特定的程序以促进 Impala SQL 方言的 Business 智慧。
• 故障排除 Impala。

在这个以讲师为主导的厦门现场培训（现场或远程）中，参与者将学习如何设置不同的Stream Processing框架并将其与现有的大数据存储系统以及相关的软件应用程序和微服务集成。

在培训结束时，参与者将能够：

• 安装和配置不同的 Stream Processing 框架，例如 Spark Streaming 和 Kafka Streaming。
• 了解并选择最适合工作的框架。
• 以逐条记录的方式连续、并发地处理数据。
• 将 Stream Processing 解决方案与现有数据库、数据仓库、数据湖等集成。
• 将最合适的流处理库与企业应用程序和微服务集成 。

这种以讲师为主导的厦门现场培训（现场或远程）针对数据工程师，数据科学家和程序员，他们希望在数据流中使用Apache Kafka功能Python。

在本次培训结束时，参与者将能够使用 Apache Kafka 通过 Python 编程来监控和管理连续数据流中的条件。

Kafka Streams 是一个客户端库，用于构建应用程序和微服务，其数据在 Kafka 消息系统之间传递。传统上，Apache Kafka 依赖于 Apache Spark 或 Apache Storm 来处理消息生产者和消费者之间的数据。通过在应用程序中调用 Kafka Streams API，数据可以直接在 Kafka 中进行处理，从而避免了将数据发送到单独的集群进行处理的需求。

在这场由讲师指导的线下培训中，参与者将学习如何将 Kafka Streams 集成到一组示例 Java 应用程序中，这些应用程序在 Apache Kafka 之间传递数据以进行流处理。

在培训结束时，参与者将能够：

• 了解 Kafka Streams 的功能及其相较于其他流处理框架的优势
• 直接在 Kafka 集群中处理流数据
• 编写与 Kafka 和 Kafka Streams 集成的 Java 或 Scala 应用程序或微服务
• 编写简洁的代码，将输入的 Kafka 主题转换为输出的 Kafka 主题
• 构建、打包并部署应用程序

目标受众

• 开发人员

课程形式

• 部分讲座、部分讨论、练习和大量动手实践

注意事项

• 如需为本课程定制培训，请联系我们安排

这个由 讲师指导的 厦门 现场培训（在线或现场）面向希望在不编写代码的情况下实现 Apache Kafka 流处理的开发人员。

在本次培训结束时，参与者将能够：

• 安装和配置 Confluent KSQL。
• 仅使用 SQL 命令（无 Java 或 Python 编码）设置流处理管道。
• 完全在 SQL 中执行数据过滤、转换、聚合、连接、视窗化和会话化。
• 为流式 ETL 和即时分析设计和部署互动式连续查询。

这种以讲师为主导的厦门现场现场培训针对的是希望学习如何实施机器学习策略，同时最大限度地利用大数据的技术人员。

在培训结束时，参与者将：

• 了解机器学习的演变和趋势。
• 了解机器学习在不同行业的应用方式。
• 熟悉可用于在组织内实施机器学习的工具、技能和服务。
• 了解如何使用机器学习来增强数据挖掘和分析。
• 了解什么是数据中间后端，以及企业如何使用它。
• 了解大数据和智能应用在各行各业中发挥的作用。

在这个以讲师为主导的厦门现场或远端培训中，参与者将学习如何在实时实验室环境中部署和管理Apache NiFi。

在培训结束时，参与者将能够：

• 安装并配置 Apachi NiFi。
• 从不同的分散式数据源（包括资料库和大数据湖）中获取、转换和管理数据。
• 自动化数据流。
• 启用流分析。
• 应用各种方法进行数据引入。
• 转换 Big Data 并转化为业务洞察。

在这个由讲师指导的 厦门 现场培训中，参与者将学习基于流程的程式设计的基础知识，因为他们使用 Apache NiFi 开发许多演示扩展、元件和处理器。

在培训结束时，参与者将能够：

• 了解 NiFi 的架构和数据流概念。
• 使用 NiFi 和第三方 API 开发扩展。
• 定制开发自己的Apache Nifi处理器。
• 从不同和不常见的档格式和数据源中摄取和处理实时数据。

这种以讲师为主导的厦门现场培训（现场或远程）针对希望使用Spark Streaming功能处理和分析实时数据的数据工程师，数据科学家和程序员。

在本次培训结束时，参与者将能够使用 Spark Streaming 处理实时数据流，以便在数据库、文件系统和实时仪表板中使用。

MLlib是Spark的机器学习（ML）库。其目标是使实用的机器学习可扩展且简单。它由常见的学习算法和实用程序组成，包括分类，回归，聚类，协同过滤，降维，以及低级优化原语和更高级别的管道API。

它分为两个包：

• spark.mllib包含在RDD之上构建的原始API。

• spark.ml提供了构建在DataFrame之上的更高级API，用于构建ML管道。

听众

本课程面向希望利用Apache Spark内置机器库的工程师和开发人员

这种以讲师为主导的厦门现场培训（现场或远程）针对的是希望部署Talend Open Studio for Big Data以简化大数据读取和处理过程的技术人员。

在培训结束时，参与者将能够：

• 安装和配置 Talend Open Studio for Big Data。
• 与 Cloudera、HortonWorks、MapR、Amazon EMR 和 Apache 等大数据系统连接。
• 了解并设置 Open Studio 的大数据组件和连接器。
• 配置参数，自动生成MapReduce代码。
• 使用 Open Studio 的拖放界面运行 Hadoop 作业。
• 对大数据管道进行原型设计。
• 自动执行大数据集成项目。

此讲师指导的即时培训介绍了互动式数据分析背后的概念，并引导参与者完成在单使用者或多用户环境中部署和使用 Zeppelin。

在本次培训结束时，参与者将能够：

• 安装和配置 Zeppelin
• 在基于浏览器的介面中开发、组织、执行和共享数据
• 在不参考命令行或集群详细信息的情况下可视化结果
• 在较长的工作流程中执行和协作
• 使用许多外挂程式语言/数据处理后端中的任何一个，例如 Scala（带 Apache Spark）、Python（带 Apache Spark）、Spark SQL、JDBC、Markdown 和 Shell。
• 将 Zeppelin 与 Spark、Flink 和 Map Reduce 集成
• 使用 Apache Shiro 保护 Zeppelin 的多用户实例