杭州大数据培训

本课程为讲师指导的培训，在杭州（线上或线下）进行，面向希望使用Google Colab和Apache Spark进行大数据处理和分析的中级数据科学家和工程师。

通过本课程，学员将能够：

• 使用Google Colab和Spark搭建大数据环境。
• 利用Apache Spark高效处理和分析大型数据集。
• 在协作环境中可视化大数据。
• 将Apache Spark与基于云的工具集成。

Stratio是一个以数据为中心的平台，集成了大数据、人工智能和治理功能，提供一体化解决方案。其Rocket和Intelligence模块支持在企业环境中快速进行数据探索、转换和高级分析。

本次由讲师指导的培训（线上或线下）面向中级数据专业人员，旨在帮助他们有效使用Stratio中的Rocket和Intelligence模块与PySpark，重点涵盖循环结构、用户自定义函数和高级数据逻辑。

培训结束后，参与者将能够：

• 在Stratio平台中导航并使用Rocket和Intelligence模块。
• 在数据摄取、转换和分析中应用PySpark。
• 使用循环和条件逻辑控制数据工作流和特征工程任务。
• 创建并管理用户自定义函数（UDFs），以在PySpark中实现可重用的数据操作。

课程形式

• 互动式讲座与讨论。
• 大量练习与实践。
• 在实时实验室环境中进行动手操作。

课程定制选项

• 如需为本课程定制培训，请联系我们安排。

数据仓库是一种设计、构建和操作集中式数据存储库的实践，旨在支持分析、报告和决策。

本课程由讲师主导，提供线上或线下培训，适合中级数据专业人员，帮助他们掌握维度数据建模、构建稳健的ETL管道，并优化分析工作负载。

培训结束后，学员将能够：

• 解释数据仓库的核心概念和架构。
• 设计维度模型，并在星型模式和雪花模式之间做出选择。
• 可靠地构建和编排ETL和ELT管道。
• 区分OLTP与OLAP工作负载，并针对分析进行优化。

课程形式

• 互动讲座与讨论。
• 大量练习与实践。
• 在实验环境中进行实际操作。

课程定制选项

• 如需定制本课程，请联系我们安排。

在 杭州 完成此讲师指导的现场培训的参与者将获得对 Big Data 及其相关技术、方法和工具的实用、真实理解。

参与者将有机会通过动手练习将这些知识付诸实践。小组互动和教师反馈构成了课程的重要组成部分。

本课程首先介绍了 Big Data 的基本概念，然后进入用于执行 Data Analysis 的程式设计语言和方法。最后，我们讨论了支援 Big Data 存储、分散式处理和 Scala 特性的工具和基础设施。

Greenplum 是一个开源的、面向分析和大规模数据环境的大规模并行处理（MPP）数据平台。

本次由讲师指导的培训（线上或线下）面向中高级技术用户，旨在帮助他们理解 Greenplum 的内部架构，构建优化的数据模型，并在分布式环境中应用高性能 SQL。

通过本次培训，学员将能够：

• 理解 Greenplum 的共享无架构和并行处理模型。
• 设计针对查询性能优化的分布式表结构和分区。
• 使用索引策略、存储格式和物理设计技术。
• 解读 EXPLAIN 计划，并使用最佳实践优化查询。

课程形式

• 互动式讲座和讨论。
• 大量练习和实践。
• 在实时实验室环境中进行动手操作。

课程定制选项

• 如需为本课程定制培训，请联系我们进行安排。

Greenplum 是一个基于 PostgreSQL 的开源大规模并行数据平台，专为高级分析和大规模数据仓库设计。

本次由讲师指导的培训（线上或线下）面向中级管理员，旨在帮助他们有效安装、配置和管理 Greenplum 环境，包括系统更新和库管理。

培训结束后，参与者将能够：

• 安装并配置生产级 Greenplum 集群。
• 管理系统更新并安全应用补丁。
• 处理 Greenplum 库管理，支持分析和扩展。
• 排查和监控 Greenplum 系统问题。

课程形式

• 互动讲座与讨论。
• 在受控实验环境中动手操作 Greenplum。
• 指导练习，专注于集群设置、升级工作流和系统扩展。

课程定制选项

• 如需根据您的环境或数据平台定制本课程，请联系我们安排。

本课程为讲师指导的线下或线上培训，面向高级数据专业人员，旨在优化数据处理工作流程，确保数据完整性，并实施强大的数据湖仓解决方案，以应对现代大数据应用的复杂性。

培训结束后，学员将能够：

• 深入了解Iceberg的架构，包括元数据管理和文件布局。
• 在各种环境中配置Iceberg以实现最佳性能，并将其与多种数据处理引擎集成。
• 管理大规模Iceberg表，执行复杂的模式变更，并处理分区演化。
• 掌握优化查询性能和数据扫描效率的技术，适用于大规模数据集。
• 实施机制以确保数据一致性，管理事务保证，并处理分布式环境中的故障。

本课程为讲师指导的线下或线上培训，面向初级数据专业人士，旨在帮助他们掌握使用Apache Iceberg管理大规模数据集、确保数据完整性和优化数据处理工作流程所需的知识与技能。

培训结束后，学员将能够：

• 深入了解Apache Iceberg的架构、功能和优势。
• 学习表格式、分区、模式演进和时间旅行功能。
• 在不同环境中安装和配置Apache Iceberg。
• 创建、管理和操作Iceberg表。
• 了解如何将数据从其他表格式迁移到Iceberg。

本课程为讲师指导的培训（线上或线下），面向中级IT专业人员，旨在提升他们在数据架构、治理、云计算和大数据技术方面的技能，以有效管理和分析大规模数据集，支持组织内的数据迁移。

通过本课程，学员将能够：

• 理解各种数据架构的基本概念和组成部分。
• 全面了解数据治理原则及其在监管环境中的重要性。
• 实施和管理Dama和Togaf等数据治理框架。
• 利用云平台实现高效的数据存储、处理和管理。

本次由讲师指导的线下或线上培训，面向希望学习如何使用Azure Data Lake Storage Gen2来实现高效数据分析解决方案的中级数据工程师。

培训结束后，参与者将能够：

• 了解Azure Data Lake Storage Gen2的架构和关键特性。
• 优化数据存储和访问，以提升性能和降低成本。
• 将Azure Data Lake Storage Gen2与其他Azure服务集成，用于分析和数据处理。
• 使用Azure Data Lake Storage Gen2 API开发解决方案。
• 解决常见问题并优化存储策略。

这种以讲师为主导的杭州现场培训（现场或远程）针对希望使用和集成Spark，Hadoop和Python以处理，分析和转换大型复杂数据集的开发人员。

在培训结束时，参与者将能够：

• 设置必要的环境以开始使用 Spark、Hadoop 和 Python 处理大数据。
• 了解 Spark 和 Hadoop 的功能、核心组件和架构。
• 了解如何集成 Spark、Hadoop 和 Python 进行大数据处理。
• 探索 Spark 生态系统中的工具（Spark MlLib、Spark Streaming、Kafka、Sqoop、Kafka 和 Flume）。
• 构建类似于 Netflix、YouTube、Amazon、Spotify 和 Google 的协作过滤推荐系统。
• 使用 Apache Mahout 扩展机器学习算法。

Big Data 和高级分析是应用复杂技术和工具来分析大型、复杂数据集，以获取可操作的洞察和战略决策支持。

本次由讲师指导的培训（线上或线下）面向高级数据专业人员，旨在帮助他们利用前沿的分析方法和大数据技术进行预测性、规范性和实时性分析。

培训结束后，参与者将能够：

• 设计和实施大规模数据处理管道，处理结构化和非结构化数据。
• 将高级机器学习和深度学习技术应用于海量数据集。
• 利用分布式计算框架进行实时分析和数据流处理。
• 将大数据分析集成到商业智能和决策支持系统中。

课程形式

• 互动式讲座和讨论。
• 大量练习和实践。
• 在实时实验环境中进行动手操作。

课程定制选项

• 如需为本课程定制培训，请联系我们安排。

本课程为讲师指导的线下或线上培训，面向中级IT专业人员，旨在帮助他们从管理和开发的角度全面理解IBM DataStage，从而在各自的工作场所中有效管理和使用该工具。

培训结束后，学员将能够：

• 理解DataStage的核心概念。
• 学习如何有效安装、配置和管理DataStage环境。
• 连接各种数据源，从数据库、平面文件和外部来源高效提取数据。
• 实施有效的数据加载技术。

这种由讲师指导的现场培训杭州（远程或远程）面向希望部署、维护和优化 Spark 集群的初级到中级系统管理员。

在培训结束时，参与者将能够：

• 在各种环境中安装和配置 Apache Spark。
• 管理群集资源并监视 Spark 应用程序。
• 优化Spark集群性能。
• 实施安全措施并确保高可用性。
• 调试和排查常见的 Spark 问题。

完成本次讲师指导的培训后，学员将对Big Data及其相关技术、方法和工具有一个实用的、现实世界的理解。

学员将有机会通过动手练习将这些知识付诸实践。小组互动和讲师反馈是课程的重要组成部分。

课程从介绍Big Data的基本概念开始，然后逐步深入用于数据分析的编程语言和方法。最后，我们讨论了支持Big Data存储、分布式处理和可扩展性的工具和基础设施。

在这个由讲师指导的 杭州 现场培训中，参与者将学习如何在动手练习中同时使用 Python 和 Spark 来分析大数据。

在培训结束时，参与者将能够：

• 了解如何将 Spark 与 Python 结合使用来分析 Big Data。
• 进行模仿真实世界案例的练习。
• 使用 PySpark 使用不同的工具和技术进行大数据分析。

受众：

本课程面向希望在分布式系统环境中存储和处理大规模数据集的IT专业人员。

Goal：

深入了解Hadoop集群管理。

技术进步和信息量的增加正在改变许多行业的业务模式，包括政府机构。由于移动设备和应用、智能传感器和设备、云计算解决方案以及面向公民的门户的快速增长，政府数据生成和数字存档率正在上升。随着数字信息的扩展和复杂化，信息管理、处理、存储、安全和处置也变得更加复杂。新的捕获、搜索、发现和分析工具正在帮助组织从其非结构化数据中获得洞察。政府市场正处于一个转折点，意识到信息是一种战略资产，政府需要保护、利用和分析结构化和非结构化信息，以更好地服务和满足任务需求。随着政府领导者努力发展数据驱动的组织以成功完成任务，他们正在为跨事件、人员、流程和信息的依赖关系奠定基础。

高价值的政府解决方案将由最具颠覆性的技术组合而成：

• 移动设备和应用
• 云服务
• 社交商业技术和网络
• 大数据和分析

大数据是智能行业解决方案之一，它使政府能够通过分析大量数据（相关和不相关、结构化和非结构化）揭示的模式来做出更好的决策。

但实现这些成就远不止简单地积累大量数据。白宫科技政策办公室的Tom Kalil和Fen Zhao在OSTP博客的一篇文章中写道：“理解这些大数据量需要尖端工具和技术，能够从大量和多样化的信息流中分析和提取有用的知识。”

白宫在2012年设立了国家大数据研究与开发计划，朝着帮助机构找到这些技术迈出了一步。该计划包括超过2亿美元，以充分利用大数据的爆炸式增长及其分析工具。

大数据带来的挑战几乎与其承诺一样令人望而生畏。高效存储数据是这些挑战之一。预算总是紧张的，因此机构必须最大限度地降低每兆字节的存储成本，并确保数据易于访问，以便用户能够在需要时获取数据。备份大量数据进一步加剧了这一挑战。

有效分析数据是另一个主要挑战。许多机构采用商业工具，使他们能够筛选大量数据，发现有助于提高运营效率的趋势。（MeriTalk最近的一项研究发现，联邦IT高管认为大数据可以帮助机构节省超过5000亿美元，同时还能实现任务目标。）

定制开发的大数据工具也允许机构满足分析数据的需求。例如，橡树岭国家实验室的计算数据分析组已将其Piranha数据分析系统提供给其他机构。该系统帮助医学研究人员找到了一种可以在主动脉瘤发作前提醒医生的链接。它还用于更平凡的任务，例如筛选简历以将求职者与招聘经理联系起来。

大数据分析涉及检查大量多样化数据集的过程，以揭示相关性、隐藏模式和其他有用的见解。

健康行业拥有大量复杂的异构医疗和临床数据。将大数据分析应用于健康数据，在改善医疗保健服务方面具有巨大潜力。然而，这些数据集的庞大规模对分析和在临床环境中的实际应用提出了巨大挑战。

在这个由讲师指导的远程培训中，学员将通过一系列实践操作练习，学习如何在健康领域进行大数据分析。

培训结束后，学员将能够：

• 安装和配置大数据分析工具，如Hadoop MapReduce和Spark
• 理解医疗数据的特征
• 应用大数据技术处理医疗数据
• 在健康应用的背景下研究大数据系统和算法

受众

• 开发者
• 数据科学家

课程形式

• 部分讲座，部分讨论，练习和大量实践操作。

注意

• 如需为本课程定制培训，请联系我们安排。

在这门由讲师指导的培训中，参与者将学习如何以正确的心态对待大数据技术，评估其对现有流程和政策的影响，并实施这些技术以识别犯罪活动并预防犯罪。通过研究来自世界各地执法组织的案例，参与者将深入了解其采用方法、挑战和成果。

培训结束后，参与者将能够：

• 将大数据技术与传统数据收集流程结合，在调查中拼凑出一个完整的故事。
• 实施工业级大数据存储和处理解决方案，用于数据分析。
• 准备一份提案，采用最合适的工具和流程，以实现数据驱动的刑事调查方法。

大数据是指用于存储和处理大规模数据集的解决方案。最初由谷歌开发，这些大数据解决方案已经发展并启发了其他类似项目，其中许多是开源的。R是金融行业中流行的编程语言。

当传统存储技术无法处理您需要存储的数据量时，有数百种替代方案可供选择。本课程旨在指导参与者了解存储和分析大数据的替代方案及其优缺点。

本课程主要侧重于解决方案的讨论和展示，实际操作练习可根据需求提供。

本课程为讲师引导的培训，在杭州（线上或线下）进行，面向初学者和中级专业人士，旨在帮助他们利用大数据和数据库概念，理解现代数据平台，并做出更好的技术和业务决策。

培训结束后，参与者将能够：解释数据库和大数据的核心概念，比较主要数据平台选项，描述数据如何存储和处理，并识别实际用例和治理需求。

本次线下培训将深入探讨大数据。学员将通过计算机示例和案例研究练习，使用相关的大数据工具进行实践。

听众

如果您试图理解您可以访问或想要分析网络上可用的非结构化数据（如Twitter，链接等等），那么本课程适合您。

它主要针对需要选择哪些数据值得收集以及值得分析的决策者和人员。

它不是针对人们配置解决方案，但这些人将从大局中受益。

交货方式

在课程期间，代表们将获得大多数开源技术的工作示例。

讲座后将进行简短的讲座，参加者将进行简单的练习

使用的内容和软件

每次运行课程时都会更新所有使用的软件，因此我们会检查最新版本。

它涵盖了从获取，格式化，处理和分析数据的过程，以解释如何使用机器学习自动化决策制定过程。

大数据是如此庞大和复杂的数据集，传统的数据处理应用软件不足以处理它们。大数据挑战包括捕获数据，数据存储，数据分析，搜索，共享，传输，可视化，查询，更新和信息隐私。

Apache Hadoop 是最流行的用于在服务器集群上处理 Big Data 的框架。在这个为期三（可选四）天的课程中，学员将了解 Hadoop 及其生态系统的商业优势和用例，如何规划集群的部署和扩展，如何安装、维护、监控、故障排除和优化 Hadoop。他们还将练习集群批量数据加载，熟悉各种 Hadoop 发行版，并练习安装和管理 Hadoop 生态系统工具。课程最后将讨论如何使用 Kerberos 保护集群。

“……材料准备得非常充分，涵盖全面。实验室非常有帮助且组织有序。” — Andrew Nguyen, 首席集成数据仓库工程师, Microsoft 线上 Advertising

受众

Hadoop 管理员

形式

讲座与动手实验，大致比例为 60% 讲座，40% 实验。

Apache Hadoop是处理大数据最流行的框架，适用于服务器集群。本课程将向开发者介绍Hadoop生态系统的各种组件（HDFS、MapReduce、Pig、Hive和HBase）。

Apache Hadoop是最流行的框架之一，用于在服务器集群上处理大数据。本课程深入探讨HDFS中的数据管理、高级Pig、Hive和HBase。这些高级编程技术将对有经验的Hadoop开发者非常有益。

受众：开发者

时长：三天

形式：讲座（50%）和动手实验（50%）。

受众：

本课程旨在揭开大数据/Hadoop技术的神秘面纱，并展示其并非难以理解。

这种由讲师指导的杭州现场培训（现场或远程）针对的是希望学习如何在组织内设置，部署和管理Hadoop集群的系统管理员。

在培训结束时，参与者将能够：

• 安装和配置 Apache Hadoop。
• 了解 Hadoop 生态系统中的四个主要组件：HDFS、MapReduce、YARN 和 Hadoop Common。
• 使用 Hadoop 分布式文件系统 （HDFS） 将集群扩展到数百或数千个节点。  
• 将 HDFS 设置为本地 Spark 部署的存储引擎。
• 设置 Spark 以访问替代存储解决方案，例如 Amazon S3 和 NoSQL 数据库系统，例如 Redis、Elasticsearch、Couchbase、Aerospike 等。
• 执行管理任务，例如配置、管理、监控和保护 Apache Hadoop 集群。

本课程介绍HBase——一个基于Hadoop的NoSQL存储系统。本课程面向使用HBase开发应用程序的开发人员，以及管理HBase集群的管理员。

我们将带领开发人员了解HBase的架构、数据建模以及在HBase上进行应用程序开发。课程还将讨论如何将MapReduce与HBase结合使用，以及一些与性能优化相关的管理主题。课程非常注重实践，包含大量实验练习。

时长：3天

受众：开发人员和管理员

在这个由讲师指导的线下或远程培训中，参与者将学习如何设置和集成不同的流处理框架与现有的大数据存储系统及相关软件应用和微服务。

通过本培训，参与者将能够：

• 安装和配置不同的流处理框架，如Spark Streaming和Kafka Streaming。
• 理解并选择最适合的框架。
• 以连续、并发和逐条记录的方式处理数据。
• 将流处理解决方案与现有数据库、数据仓库、数据湖等集成。
• 将最合适的流处理库与企业应用和微服务集成。

这种以讲师为主导的杭州现场现场培训针对的是希望学习如何实施机器学习策略，同时最大限度地利用大数据的技术人员。

在培训结束时，参与者将：

• 了解机器学习的演变和趋势。
• 了解机器学习在不同行业的应用方式。
• 熟悉可用于在组织内实施机器学习的工具、技能和服务。
• 了解如何使用机器学习来增强数据挖掘和分析。
• 了解什么是数据中间后端，以及企业如何使用它。
• 了解大数据和智能应用在各行各业中发挥的作用。

Apache NiFi 是一个开源的、基于数据流的数据集成和事件处理平台。它支持自动化的实时数据路由、转换和系统中介，通过基于 Web 的用户界面和细粒度的控制，连接不同的系统。

本次由讲师主导的培训（线下或远程）面向中级管理员和工程师，旨在帮助他们部署、管理、保护和优化生产环境中的 NiFi 数据流。

培训结束后，参与者将能够：

• 安装、配置和维护 Apache NiFi 集群。
• 设计和管理来自不同源和目的地的数据流。
• 实现流的自动化、路由和转换逻辑。
• 优化性能、监控操作并解决问题。

课程形式

• 互动讲座，结合实际架构讨论。
• 动手实验：构建、部署和管理数据流。
• 在实时实验室环境中进行基于场景的练习。

课程定制选项

• 如需定制本课程，请联系我们安排。

在这个由讲师指导的 杭州 现场培训中，参与者将学习基于流程的程式设计的基础知识，因为他们使用 Apache NiFi 开发许多演示扩展、元件和处理器。

在培训结束时，参与者将能够：

• 了解 NiFi 的架构和数据流概念。
• 使用 NiFi 和第三方 API 开发扩展。
• 定制开发自己的Apache Nifi处理器。
• 从不同和不常见的档格式和数据源中摄取和处理实时数据。

本培训提供了一个实用的入门指南，介绍如何使用PySpark构建可扩展的数据处理和机器学习工作流。参与者将学习Apache Spark在现代大数据生态系统中的运作方式，以及如何利用分布式计算原理高效处理大规模数据集。

本次讲师指导的培训在 杭州（线上或线下）面向希望使用 SMACK 技术栈构建大数据解决方案的数据科学家。

培训结束后，参与者将能够：

• 实现用于处理大数据的数据管道架构。
• 使用 Apache Mesos 和 Docker 开发集群基础设施。
• 使用 Spark 和 Scala 分析数据。
• 使用 Apache Cassandra 管理非结构化数据。

这种以讲师为主导的杭州现场培训（现场或远程）针对的是希望建立和部署Apache Spark系统以处理大量数据的工程师。

在培训结束时，参与者将能够：

• 安装和配置 Apache Spark。
• 快速处理和分析非常大的数据集。
• 了解Apache Spark和Hadoop MapReduce之间的区别，以及何时使用哪个。
• 将 Apache Spark 与其他机器学习工具集成。

Apache Spark的学习曲线在开始时较为平缓，但需要付出大量努力才能获得初步回报。本课程旨在帮助学员跳过最初的学习难关。完成本课程后，学员将掌握Apache Spark的基础知识，能够清晰区分RDD与DataFrame，学习Python和Scala API，理解执行器和任务等。此外，课程还将遵循最佳实践，重点关注云部署、Databricks和AWS。学员还将了解AWS EMR与AWS Glue之间的区别，后者是AWS最新的Spark服务之一。

受众：

数据工程师、DevOps、数据科学家

目标：

本课程将介绍Apache Spark。学员将了解Spark如何融入大数据生态系统，以及如何使用Spark进行数据分析。课程涵盖Spark shell的交互式数据分析、Spark内部机制、Spark API、Spark SQL、Spark流处理、机器学习和GraphX。

受众：

开发者/数据分析师

这种由 讲师指导的 杭州 现场培训（在线或现场）面向希望使用 Spark NLP（基于 Apache Spark 构建）来开发、实施和扩展自然语言文本处理模型和管道的数据科学家和开发人员。

在本次培训结束时，参与者将能够：

• 设置必要的开发环境以开始使用 Spark NLP 构建 NLP 管道。
• 了解使用 Spark NLP 的功能、架构和优势。
• 使用 Spark NLP 中提供的预训练模型来实现文本处理。
• 了解如何为生产级项目构建、训练和扩展 Spark NLP 模型。
• 对实际使用案例（临床数据、客户行为洞察等）应用分类、推理和情绪分析。

Spark SQL 是 Apache Spark 中用于处理结构化和非结构化数据的模块。Spark SQL 提供了关于数据结构以及正在执行的计算的信息。这些信息可用于执行优化。Spark SQL 的两个常见用途是：
- 执行 SQL 查询。
- 从现有的 Hive 安装中读取数据。

在这个由讲师指导的线下或远程培训中，参与者将学习如何使用 Spark SQL 分析各种类型的数据集。

培训结束时，参与者将能够：

• 安装和配置 Spark SQL。
• 使用 Spark SQL 进行数据分析。
• 查询不同格式的数据集。
• 可视化数据和查询结果。

课程形式

• 互动讲座和讨论。
• 大量练习和实践。
• 在实时实验室环境中进行实际操作。

课程定制选项

• 如需为此课程定制培训，请联系我们安排。

本课程为讲师指导的培训（线上或线下），面向希望部署Talend Open Studio for Big Data以简化大数据读取和处理过程的技术人员。

在本培训结束时，学员将能够：

• 安装和配置Talend Open Studio for Big Data。
• 连接Cloudera、HortonWorks、MapR、Amazon EMR和Apache等大数据系统。
• 理解并设置Open Studio的大数据组件和连接器。
• 配置参数以自动生成MapReduce代码。
• 使用Open Studio的拖放界面运行Hadoop任务。
• 构建大数据管道原型。
• 自动化大数据集成项目。