杭州大数据培训

这是一个由讲师指导的杭州（线上或线下）培训课程，针对希望使用Google Colab和Apache Spark进行大数据处理和分析的中级数据科学家和工程师。

在培训结束时，参与者将能够：

• 使用Google Colab和Spark建立大数据环境。
• 使用Apache Spark高效处理和分析大型数据集。
• 在协作环境中可视化大数据。
• 将Apache Spark与云端工具集成。

Stratio 是一个以数据为中心的平台，将大数据、人工智慧和治理整合到单一解决方案中。其 Rocket 和 Intelligence 模组使企业环境中的数据探索、转换和高级分析变得迅速。

这是一个由讲师指导的培训（线上或线下），针对希望有效使用 Stratio 中 Rocket 和 Intelligence 模组的中级数据专业人员，重点关注循环结构、用户自定义函数和高级数据逻辑。

在培训结束时，参与者将能够：

• 使用 Rocket 和 Intelligence 模组在 Stratio 平台中导航和工作。
• 在数据撷取、转换和分析的背景下应用 PySpark。
• 使用循环和条件逻辑来控制数据工作流和特征工程任务。
• 创建和管理用户自定义函数 (UDFs)，以在 PySpark 中进行可重用的数据操作。

课程形式

• 互动式讲座和讨论。
• 大量练习和实践。
• 在实时实验室环境中进行实践操作。

课程定制选项

• 如需为此课程请求定制培训，请联系我们安排。

数据仓库是设计、构建和运营支持分析、报告和决策的集中式数据存储库的实践。

本次由讲师指导的培训（线上或线下）面向中级数据专业人员，旨在帮助他们建模维度数据、构建稳健的ETL管道，并优化分析工作负载。

在培训结束时，参与者将能够：

• 解释核心数据仓库概念和架构。
• 设计维度模型，并在星型模式和雪花模式之间进行选择。
• 可靠地构建和编排ETL和ELT管道。
• 区分OLTP与OLAP工作负载，并针对分析进行优化。

课程形式

• 互动式讲座和讨论。
• 大量练习和实践。
• 在实时实验室环境中进行实际操作。

课程定制选项

• 如需为本课程定制培训，请联系我们进行安排。

在 杭州 完成此讲师指导的现场培训的参与者将获得对 Big Data 及其相关技术、方法和工具的实用、真实理解。

参与者将有机会通过动手练习将这些知识付诸实践。小组互动和教师反馈构成了课程的重要组成部分。

本课程首先介绍了 Big Data 的基本概念，然后进入用于执行 Data Analysis 的程式设计语言和方法。最后，我们讨论了支援 Big Data 存储、分散式处理和 Scala 特性的工具和基础设施。

Greenplum 是一个开源的、面向分析和大规模数据环境的大规模并行处理（MPP）数据平台。

本次由讲师指导的培训（线上或线下）面向中高级技术用户，旨在帮助他们理解 Greenplum 的内部架构，构建优化的数据模型，并在分布式环境中应用高性能 SQL。

通过本次培训，学员将能够：

• 理解 Greenplum 的共享无架构和并行处理模型。
• 设计针对查询性能优化的分布式表结构和分区。
• 使用索引策略、存储格式和物理设计技术。
• 解读 EXPLAIN 计划，并使用最佳实践优化查询。

课程形式

• 互动式讲座和讨论。
• 大量练习和实践。
• 在实时实验室环境中进行动手操作。

课程定制选项

• 如需为本课程定制培训，请联系我们进行安排。

Greenplum 是一个基于 PostgreSQL 的开源大规模并行数据平台，专为高级分析和大规模数据仓库设计。

本次由讲师指导的培训（线上或线下）面向中级管理员，旨在帮助他们有效安装、配置和管理 Greenplum 环境，包括系统更新和库管理。

培训结束后，参与者将能够：

• 安装并配置生产级 Greenplum 集群。
• 管理系统更新并安全应用补丁。
• 处理 Greenplum 库管理，支持分析和扩展。
• 排查和监控 Greenplum 系统问题。

课程形式

• 互动讲座与讨论。
• 在受控实验环境中动手操作 Greenplum。
• 指导练习，专注于集群设置、升级工作流和系统扩展。

课程定制选项

• 如需根据您的环境或数据平台定制本课程，请联系我们安排。

本课程为讲师指导的线下或线上培训，面向高级数据专业人员，旨在优化数据处理工作流程，确保数据完整性，并实施强大的数据湖仓解决方案，以应对现代大数据应用的复杂性。

培训结束后，学员将能够：

• 深入了解Iceberg的架构，包括元数据管理和文件布局。
• 在各种环境中配置Iceberg以实现最佳性能，并将其与多种数据处理引擎集成。
• 管理大规模Iceberg表，执行复杂的模式变更，并处理分区演化。
• 掌握优化查询性能和数据扫描效率的技术，适用于大规模数据集。
• 实施机制以确保数据一致性，管理事务保证，并处理分布式环境中的故障。

本课程为讲师指导的线下或线上培训，面向初级数据专业人士，旨在帮助他们掌握使用Apache Iceberg管理大规模数据集、确保数据完整性和优化数据处理工作流程所需的知识与技能。

培训结束后，学员将能够：

• 深入了解Apache Iceberg的架构、功能和优势。
• 学习表格式、分区、模式演进和时间旅行功能。
• 在不同环境中安装和配置Apache Iceberg。
• 创建、管理和操作Iceberg表。
• 了解如何将数据从其他表格式迁移到Iceberg。

本次由讲师指导的杭州（线上或线下）培训面向中级IT专业人士，旨在提升他们在数据架构、治理、云计算和大数据技术方面的技能，以便有效管理和分析大型数据集，实现组织内的数据迁移。

培训结束后，参与者将能够：

• 理解各种数据架构的基本概念和组成部分。
• 全面了解数据治理原则及其在监管环境中的重要性。
• 实施和管理数据治理框架，如Dama和Togaf。
• 利用云平台进行高效的数据存储、处理和管理。

本次由讲师指导的线下或线上培训，面向希望学习如何使用Azure Data Lake Storage Gen2来实现高效数据分析解决方案的中级数据工程师。

培训结束后，参与者将能够：

• 了解Azure Data Lake Storage Gen2的架构和关键特性。
• 优化数据存储和访问，以提升性能和降低成本。
• 将Azure Data Lake Storage Gen2与其他Azure服务集成，用于分析和数据处理。
• 使用Azure Data Lake Storage Gen2 API开发解决方案。
• 解决常见问题并优化存储策略。

这种以讲师为主导的杭州现场培训（现场或远程）针对希望使用和集成Spark，Hadoop和Python以处理，分析和转换大型复杂数据集的开发人员。

在培训结束时，参与者将能够：

• 设置必要的环境以开始使用 Spark、Hadoop 和 Python 处理大数据。
• 了解 Spark 和 Hadoop 的功能、核心组件和架构。
• 了解如何集成 Spark、Hadoop 和 Python 进行大数据处理。
• 探索 Spark 生态系统中的工具（Spark MlLib、Spark Streaming、Kafka、Sqoop、Kafka 和 Flume）。
• 构建类似于 Netflix、YouTube、Amazon、Spotify 和 Google 的协作过滤推荐系统。
• 使用 Apache Mahout 扩展机器学习算法。

Big Data 和高级分析是应用复杂技术和工具来分析大型、复杂数据集，以获取可操作的洞察和战略决策支持。

本次由讲师指导的培训（线上或线下）面向高级数据专业人员，旨在帮助他们利用前沿的分析方法和大数据技术进行预测性、规范性和实时性分析。

培训结束后，参与者将能够：

• 设计和实施大规模数据处理管道，处理结构化和非结构化数据。
• 将高级机器学习和深度学习技术应用于海量数据集。
• 利用分布式计算框架进行实时分析和数据流处理。
• 将大数据分析集成到商业智能和决策支持系统中。

课程形式

• 互动式讲座和讨论。
• 大量练习和实践。
• 在实时实验环境中进行动手操作。

课程定制选项

• 如需为本课程定制培训，请联系我们安排。

本次由讲师指导的杭州（线上或线下）培训，面向中级IT专业人士，旨在帮助他们全面理解IBM DataStage的管理和开发视角，从而能够在各自的工作场所有效管理和使用该工具。

培训结束后，参与者将能够：

• 理解DataStage的核心概念。
• 学习如何有效安装、配置和管理DataStage环境。
• 连接到各种数据源，并从数据库、平面文件和外部源中高效提取数据。
• 实施有效的数据加载技术。

这种由讲师指导的现场培训杭州（远程或远程）面向希望部署、维护和优化 Spark 集群的初级到中级系统管理员。

在培训结束时，参与者将能够：

• 在各种环境中安装和配置 Apache Spark。
• 管理群集资源并监视 Spark 应用程序。
• 优化Spark集群性能。
• 实施安全措施并确保高可用性。
• 调试和排查常见的 Spark 问题。

参与者在完成此由讲师指导的杭州线下培训后，将获得对Big Data及其相关技术、方法和工具的实际且实用的理解。

参与者将有机会通过动手练习将这些知识应用于实践。小组互动和讲师反馈是课程的重要组成部分。

课程首先介绍Big Data的基本概念，然后进入用于执行Data Analysis的程式语言和方法。最后，我们讨论支持Big Data存储、分散式处理和可扩展性的工具和基础设施。

在这个由讲师指导的 杭州 现场培训中，参与者将学习如何在动手练习中同时使用 Python 和 Spark 来分析大数据。

在培训结束时，参与者将能够：

• 了解如何将 Spark 与 Python 结合使用来分析 Big Data。
• 进行模仿真实世界案例的练习。
• 使用 PySpark 使用不同的工具和技术进行大数据分析。

受众：

本课程面向希望在分布式系统环境中存储和处理大规模数据集的IT专业人员。

Goal：

深入了解Hadoop集群管理。

技术的进步和信息量的增加正在改变包括政府在内的许多行业的业务开展方式。Go由于移动设备和应用程序、智能传感器和设备、云计算解决方案以及面向公民的门户的快速增长，数据生成和数字归档率正在上升。随着数字信息的扩展和日益复杂，信息管理、处理、存储、安全和处置也变得更加复杂。新的捕获、搜索、发现和分析工具正在帮助组织从其非结构化数据中获得见解。政府市场正处于一个转折点，他们意识到信息是一种战略资产，政府需要保护、利用和分析结构化和非结构化信息，以便更好地服务和满足任务要求。随着政府领导者努力发展数据驱动型组织以成功完成使命，他们正在为关联事件、人员、流程和信息之间的依赖关系奠定基础。

高价值的政府解决方案将由最具颠覆性的技术混合而成：

• 移动设备和应用程序
• 云服务
• 社交商业技术和网络
• Big Data 和分析

IDC 预测，到 2020 年，IT 行业将达到 5 万亿美元，比现在大约 1.7 万亿美元，而该行业 80% 的增长将由这些第三平台技术推动。从长远来看，这些技术将成为处理日益增长的数字信息复杂性的关键工具。Big Data 是智能行业解决方案之一，它允许政府根据分析大量数据（相关和不相关、结构化和非结构化）所揭示的模式采取行动，从而做出更好的决策。

“理解这些大量的Big Data需要尖端的工具和技术，这些工具和技术可以从大量不同的信息流中分析和提取有用的知识，”白宫科技政策办公室的Tom Kalil和Fen Zhao在OSTP博客上的一篇文章中写道。

白宫在2012年建立国家Big Data研究与开发计划（National Big Data Research and Development Initiative）时，在帮助各机构发现这些技术方面迈出了一步。该计划包括超过 2 亿美元，以充分利用 Big Data 的爆炸式增长以及分析它所需的工具。

Big Data 带来的挑战几乎与它的承诺一样令人生畏。高效存储数据是这些挑战之一。与往常一样，预算紧张，因此机构必须最大限度地降低每兆字节的存储价格，并使数据易于访问，以便用户可以在需要时以需要的方式获取数据。备份海量数据加剧了这一挑战。

有效分析数据是另一个重大挑战。许多机构采用商业工具，使他们能够筛选海量数据，发现可以帮助他们更有效地运营的趋势。（MeriTalk 最近的一项研究发现，联邦 IT 高管认为 Big Data 可以帮助机构节省超过 5000 亿美元，同时实现任务目标。

定制开发的 Big Data 工具还使机构能够满足分析其数据的需求。例如，橡树岭国家实验室的计算数据分析小组已将其食人鱼数据分析系统提供给其他机构。该系统帮助医学研究人员找到了一种联系，可以在主动脉瘤发作之前提醒医生注意主动脉瘤。它还用于更平凡的任务，例如筛选简历以将求职者与招聘经理联系起来。

第1天 - 提供大数据关键领域的高级概述。该模块分为一系列部分，每个部分都配有实践练习。

第2天 - 探讨与大数据环境中的分析实践和工具相关的一系列主题。它不涉及实施或编程细节，而是保持在概念层面，重点关注使参与者全面理解大数据解决方案提供的常见分析功能和特性的主题。

第3天 - 概述与大数据解决方案平台架构相关的基本和关键领域。涵盖开发大数据解决方案平台所需的大数据机制，以及组装数据处理平台的架构选项。还介绍了常见场景，以提供对大数据解决方案平台一般使用方式的基本理解。

第4天 - 在第3天的基础上，探讨与大数据解决方案平台架构相关的高级主题。特别是介绍和讨论了构成大数据解决方案平台的不同架构层，包括数据源、数据摄取、数据存储、数据处理和安全性。

第5天 - 涵盖一系列练习和问题，旨在测试学员应用第3天和第4天所学知识的能力。

大数据分析涉及检查大量不同数据集的过程，以便发现相关性，隐藏模式和其他有用的见解。

健康产业拥有大量复杂的异构医学和临床数据。对健康数据应用大数据分析在获得改善医疗保健服务的见解方面具有巨大潜力。然而，这些数据集的巨大性给分析和临床环境的实际应用带来了巨大挑战。

在这个以讲师为主导的现场培训（远程）中，参与者将学习如何在健康状况下进行大数据分析，因为他们将逐步进行一系列动手实践练习。

在培训结束时，参与者将能够：

• 安装和配置大数据分析工具，如Hadoop MapReduce和Spark
• 了解医疗数据的特征
• 应用大数据技术处理医疗数据
• 在健康应用的背景下研究大数据系统和算法

听众

• 开发商
• 数据科学家

课程格式

• 部分讲座，部分讨论，练习和繁重的实践练习。

注意

• 要申请本课程的定制培训，请联系我们安排。

在这个以讲师为主导的现场培训中，参与者将学习处理Big Data技术的心态，评估它们对现有过程和政策的影响，并实施这些技术以便识别犯罪活动和预防犯罪。将研究来自全球执法机构的案例研究，以获取有关其采纳方法、挑战和结果的见解。

培训结束时，参与者将能够：

• 在调查中，结合Big Data技术和传统数据收集过程，拼凑出一个故事。
• 实施工业大数据存储和处理解决方案进行数据分析。
• 为采纳最合适的工具和流程以实现以数据为中心的犯罪调查方法准备一份提案。

大数据是指用于存储和处理大规模数据集的解决方案。最初由谷歌开发，这些大数据解决方案已经发展并启发了其他类似项目，其中许多是开源的。R是金融行业中流行的编程语言。

当传统存储技术无法处理您需要存储的数据量时，就会有大量的替代方案。本课程试图引导参与者存储和分析Big Data替代方案以及他们的优缺点。

本课程主要侧重于解决方案的讨论和介绍，但可根据需要提供动手练习。

该课程是数据科学家技能集（领域：数据和技术）的一部分。

本次线下培训将深入探讨大数据。学员将通过计算机示例和案例研究练习，使用相关的大数据工具进行实践。

听众

如果您试图理解您可以访问或想要分析网络上可用的非结构化数据（如Twitter，链接等等），那么本课程适合您。

它主要针对需要选择哪些数据值得收集以及值得分析的决策者和人员。

它不是针对人们配置解决方案，但这些人将从大局中受益。

交货方式

在课程期间，代表们将获得大多数开源技术的工作示例。

讲座后将进行简短的讲座，参加者将进行简单的练习

使用的内容和软件

每次运行课程时都会更新所有使用的软件，因此我们会检查最新版本。

它涵盖了从获取，格式化，处理和分析数据的过程，以解释如何使用机器学习自动化决策制定过程。

大数据是如此庞大和复杂的数据集，传统的数据处理应用软件不足以处理它们。大数据挑战包括捕获数据，数据存储，数据分析，搜索，共享，传输，可视化，查询，更新和信息隐私。

本课程专为IT专业人士设计，他们正在寻找在分散式系统环境中储存和处理大数据集的解决方案。

课程目标：

获取有关Hadoop集群管理的知识

Apache Hadoop 是最流行的用于在服务器集群上处理 Big Data 的框架。在这个为期三（可选四）天的课程中，学员将了解 Hadoop 及其生态系统的商业优势和用例，如何规划集群的部署和扩展，如何安装、维护、监控、故障排除和优化 Hadoop。他们还将练习集群批量数据加载，熟悉各种 Hadoop 发行版，并练习安装和管理 Hadoop 生态系统工具。课程最后将讨论如何使用 Kerberos 保护集群。

“……材料准备得非常充分，涵盖全面。实验室非常有帮助且组织有序。” — Andrew Nguyen, 首席集成数据仓库工程师, Microsoft 线上 Advertising

受众

Hadoop 管理员

形式

讲座与动手实验，大致比例为 60% 讲座，40% 实验。

Apache Hadoop 是最流行的用于在服务器集群上处理 Big Data 的框架。本课程将向开发者介绍 Hadoop 生态系统中的各种组件（HDFS、MapReduce、Pig、Hive 和 HBase）。

Apache Hadoop 是最流行的服务器集群上处理 Big Data 的框架之一。本课程深入探讨 HDFS 中的数据管理、高级 Pig、Hive 和 HBase。这些高级编程技术将对有经验的 Hadoop 开发者非常有益。

受众: 开发者

时长: 三天

形式: 讲座 (50%) 和动手实验 (50%)。

受众：

本课程旨在揭开大数据/Hadoop技术的神秘面纱，并展示其并非难以理解。

这种由讲师指导的杭州现场培训（现场或远程）针对的是希望学习如何在组织内设置，部署和管理Hadoop集群的系统管理员。

在培训结束时，参与者将能够：

• 安装和配置 Apache Hadoop。
• 了解 Hadoop 生态系统中的四个主要组件：HDFS、MapReduce、YARN 和 Hadoop Common。
• 使用 Hadoop 分布式文件系统 （HDFS） 将集群扩展到数百或数千个节点。  
• 将 HDFS 设置为本地 Spark 部署的存储引擎。
• 设置 Spark 以访问替代存储解决方案，例如 Amazon S3 和 NoSQL 数据库系统，例如 Redis、Elasticsearch、Couchbase、Aerospike 等。
• 执行管理任务，例如配置、管理、监控和保护 Apache Hadoop 集群。

本课程介绍HBase - 一个基于Hadoop的无SQL存储。本课程面向将使用HBase开发应用程序的开发人员以及将管理HBase集群的管理员。

我们将通过HBase的HBase架构和数据建模以及应用程序开发向开发人员展示。它还将讨论将MapReduce与HBase一起使用，以及与性能优化相关的一些管理主题。该课程非常实用，包含大量实验练习。

持续时间 ：3天

受众 ：开发人员和管理员

在这次由讲师指导的杭州（线下或远程）培训中，学员将学习如何设置和集成不同的流处理框架与现有的大数据存储系统及相关软件应用和微服务。

培训结束后，学员将能够：

• 安装和配置不同的流处理框架，如Spark Streaming和Kafka Streaming。
• 理解并选择最适合的框架。
• 以连续、并发和逐条记录的方式处理数据。
• 将流处理解决方案与现有数据库、数据仓库、数据湖等集成。
• 将最适合的流处理库与企业应用和微服务集成。

这种以讲师为主导的杭州现场现场培训针对的是希望学习如何实施机器学习策略，同时最大限度地利用大数据的技术人员。

在培训结束时，参与者将：

• 了解机器学习的演变和趋势。
• 了解机器学习在不同行业的应用方式。
• 熟悉可用于在组织内实施机器学习的工具、技能和服务。
• 了解如何使用机器学习来增强数据挖掘和分析。
• 了解什么是数据中间后端，以及企业如何使用它。
• 了解大数据和智能应用在各行各业中发挥的作用。

在这个以讲师为主导的杭州现场或远端培训中，参与者将学习如何在实时实验室环境中部署和管理Apache NiFi。

在培训结束时，参与者将能够：

• 安装并配置 Apachi NiFi。
• 从不同的分散式数据源（包括资料库和大数据湖）中获取、转换和管理数据。
• 自动化数据流。
• 启用流分析。
• 应用各种方法进行数据引入。
• 转换 Big Data 并转化为业务洞察。

在这个由讲师指导的 杭州 现场培训中，参与者将学习基于流程的程式设计的基础知识，因为他们使用 Apache NiFi 开发许多演示扩展、元件和处理器。

在培训结束时，参与者将能够：

• 了解 NiFi 的架构和数据流概念。
• 使用 NiFi 和第三方 API 开发扩展。
• 定制开发自己的Apache Nifi处理器。
• 从不同和不常见的档格式和数据源中摄取和处理实时数据。

本课程为讲师指导的杭州（线上或线下）培训，面向希望使用SMACK堆栈构建大数据解决方案的数据科学家。

通过本培训，参与者将能够：

• 实现用于处理大数据的数据管道架构。
• 使用Apache Mesos和Docker开发集群基础设施。
• 使用Spark和Scala进行数据分析。
• 使用Apache Cassandra管理非结构化数据。

这种以讲师为主导的杭州现场培训（现场或远程）针对的是希望建立和部署Apache Spark系统以处理大量数据的工程师。

在培训结束时，参与者将能够：

• 安装和配置 Apache Spark。
• 快速处理和分析非常大的数据集。
• 了解Apache Spark和Hadoop MapReduce之间的区别，以及何时使用哪个。
• 将 Apache Spark 与其他机器学习工具集成。

Apache Spark的学习曲线在开始时较为平缓，但需要付出大量努力才能获得初步回报。本课程旨在帮助学员跳过最初的学习难关。完成本课程后，学员将掌握Apache Spark的基础知识，能够清晰区分RDD与DataFrame，学习Python和Scala API，理解执行器和任务等。此外，课程还将遵循最佳实践，重点关注云部署、Databricks和AWS。学员还将了解AWS EMR与AWS Glue之间的区别，后者是AWS最新的Spark服务之一。

受众：

数据工程师、DevOps、数据科学家

目的：

本课程将介绍Apache Spark 。学生将学习Spark如何适应Big Data生态系统，以及如何使用Spark进行数据分析。该课程涵盖Spark shell，用于交互式数据分析，Spark内部，Spark API，Spark SQL ，Spark流，机器学习和graphX。

听众：

开发人员/数据分析师

这种由 讲师指导的 杭州 现场培训（在线或现场）面向希望使用 Spark NLP（基于 Apache Spark 构建）来开发、实施和扩展自然语言文本处理模型和管道的数据科学家和开发人员。

在本次培训结束时，参与者将能够：

• 设置必要的开发环境以开始使用 Spark NLP 构建 NLP 管道。
• 了解使用 Spark NLP 的功能、架构和优势。
• 使用 Spark NLP 中提供的预训练模型来实现文本处理。
• 了解如何为生产级项目构建、训练和扩展 Spark NLP 模型。
• 对实际使用案例（临床数据、客户行为洞察等）应用分类、推理和情绪分析。

Spark SQL是Apache Spark用于处理结构化和非结构化数据的模块。 Spark SQL提供有关数据结构以及正在执行的计算的信息。此信息可用于执行优化。 Spark SQL两个常见用途是：
- 执行SQL查询。
- 从现有Hive安装中读取数据。

在这个由讲师指导的实时培训（现场或远程）中，参与者将学习如何使用Spark SQL分析各种类型的数据集。

在培训结束时，参与者将能够：

• 安装和配置Spark SQL 。
• 使用Spark SQL执行数据分析。
• 以不同格式查询数据集。
• 可视化数据和查询结果。

课程格式

• 互动讲座和讨论。
• 大量的练习和练习。
• 在实时实验室环境中亲自实施。

课程自定义选项

• 要申请本课程的定制培训，请联系我们安排。

这种以讲师为主导的杭州现场培训（现场或远程）针对的是希望部署Talend Open Studio for Big Data以简化大数据读取和处理过程的技术人员。

在培训结束时，参与者将能够：

• 安装和配置 Talend Open Studio for Big Data。
• 与 Cloudera、HortonWorks、MapR、Amazon EMR 和 Apache 等大数据系统连接。
• 了解并设置 Open Studio 的大数据组件和连接器。
• 配置参数，自动生成MapReduce代码。
• 使用 Open Studio 的拖放界面运行 Hadoop 作业。
• 对大数据管道进行原型设计。
• 自动执行大数据集成项目。