高级 Hadoop 开发人员 培训

受众：

本课程面向希望在分布式系统环境中存储和处理大规模数据集的IT专业人员。

Goal：

深入了解Hadoop集群管理。

大数据分析涉及检查大量不同数据集的过程，以便发现相关性，隐藏模式和其他有用的见解。

健康产业拥有大量复杂的异构医学和临床数据。对健康数据应用大数据分析在获得改善医疗保健服务的见解方面具有巨大潜力。然而，这些数据集的巨大性给分析和临床环境的实际应用带来了巨大挑战。

在这个以讲师为主导的现场培训（远程）中，参与者将学习如何在健康状况下进行大数据分析，因为他们将逐步进行一系列动手实践练习。

在培训结束时，参与者将能够：

• 安装和配置大数据分析工具，如Hadoop MapReduce和Spark
• 了解医疗数据的特征
• 应用大数据技术处理医疗数据
• 在健康应用的背景下研究大数据系统和算法

听众

• 开发商
• 数据科学家

课程格式

• 部分讲座，部分讨论，练习和繁重的实践练习。

注意

• 要申请本课程的定制培训，请联系我们安排。

本课程专为IT专业人士设计，他们正在寻找在分散式系统环境中储存和处理大数据集的解决方案。

课程目标：

获取有关Hadoop集群管理的知识

Apache Hadoop 是最流行的用于在服务器集群上处理 Big Data 的框架。在这个为期三（可选四）天的课程中，学员将了解 Hadoop 及其生态系统的商业优势和用例，如何规划集群的部署和扩展，如何安装、维护、监控、故障排除和优化 Hadoop。他们还将练习集群批量数据加载，熟悉各种 Hadoop 发行版，并练习安装和管理 Hadoop 生态系统工具。课程最后将讨论如何使用 Kerberos 保护集群。

“……材料准备得非常充分，涵盖全面。实验室非常有帮助且组织有序。” — Andrew Nguyen, 首席集成数据仓库工程师, Microsoft 线上 Advertising

受众

Hadoop 管理员

形式

讲座与动手实验，大致比例为 60% 讲座，40% 实验。

Apache Hadoop 是最流行的用于在服务器集群上处理 Big Data 的框架。本课程将向开发者介绍 Hadoop 生态系统中的各种组件（HDFS、MapReduce、Pig、Hive 和 HBase）。

受众：

本课程旨在揭开大数据/Hadoop技术的神秘面纱，并展示其并非难以理解。

这种由讲师指导的中国现场培训（现场或远程）针对的是希望学习如何在组织内设置，部署和管理Hadoop集群的系统管理员。

在培训结束时，参与者将能够：

• 安装和配置 Apache Hadoop。
• 了解 Hadoop 生态系统中的四个主要组件：HDFS、MapReduce、YARN 和 Hadoop Common。
• 使用 Hadoop 分布式文件系统 （HDFS） 将集群扩展到数百或数千个节点。  
• 将 HDFS 设置为本地 Spark 部署的存储引擎。
• 设置 Spark 以访问替代存储解决方案，例如 Amazon S3 和 NoSQL 数据库系统，例如 Redis、Elasticsearch、Couchbase、Aerospike 等。
• 执行管理任务，例如配置、管理、监控和保护 Apache Hadoop 集群。

本课程介绍HBase - 一个基于Hadoop的无SQL存储。本课程面向将使用HBase开发应用程序的开发人员以及将管理HBase集群的管理员。

我们将通过HBase的HBase架构和数据建模以及应用程序开发向开发人员展示。它还将讨论将MapReduce与HBase一起使用，以及与性能优化相关的一些管理主题。该课程非常实用，包含大量实验练习。

持续时间 ：3天

受众 ：开发人员和管理员

这个由讲师指导的现场培训在 中国（在线或现场）介绍 Hortonworks Data Platform (HDP) 并引导参与者完成Spark + Hadoop 解决方案的部署。

在本次培训结束时，参与者将能够：

• 使用 Hortonworks 可靠地大规模运行 Hadoop。
• 将 Hadoop 的安全、治理和运营功能与Spark的敏捷分析工作流统一起来。
• 使用 Hortonworks 调查、验证、认证和支援 Spark 专案中的每个元件。
• 处理不同类型的数据，包括结构化、非结构化、动态和静态数据。

本课程介绍如何从Hive提取数据的人员使用Hive SQL语言（AKA： Hive HQL， Hive SQL ， Hive QL）

Cloudera Impala 是适用于 Apache Hadoop 集群的开源大规模并行处理 （MPP） SQL 查询引擎。

Impala 使用户能够 对存储在 Hadoop 分散式文件系统 和 Apache Hbase 中的数据发出低延迟 SQL 查询，而无需移动或转换数据。

观众

本课程面向 分析师和数据科学家，他们通过 Business Intelligence 或 SQL 工具对存储在 Hadoop 中的数据进行分析。

完成本课程后，学员将能够

• 使用 Impala 从 Hadoop 集群中提取有意义的资讯。
• 编写特定的程序以促进 Impala SQL 方言的 Business 智慧。
• 故障排除 Impala。

在这个以讲师为主导的中国现场或远端培训中，参与者将学习如何在实时实验室环境中部署和管理Apache NiFi。

在培训结束时，参与者将能够：

• 安装并配置 Apachi NiFi。
• 从不同的分散式数据源（包括资料库和大数据湖）中获取、转换和管理数据。
• 自动化数据流。
• 启用流分析。
• 应用各种方法进行数据引入。
• 转换 Big Data 并转化为业务洞察。

在这个由讲师指导的 中国 现场培训中，参与者将学习基于流程的程式设计的基础知识，因为他们使用 Apache NiFi 开发许多演示扩展、元件和处理器。

在培训结束时，参与者将能够：

• 了解 NiFi 的架构和数据流概念。
• 使用 NiFi 和第三方 API 开发扩展。
• 定制开发自己的Apache Nifi处理器。
• 从不同和不常见的档格式和数据源中摄取和处理实时数据。

这种以讲师为主导的中国现场培训（现场或远程）针对希望使用和集成Spark，Hadoop和Python以处理，分析和转换大型复杂数据集的开发人员。

在培训结束时，参与者将能够：

• 设置必要的环境以开始使用 Spark、Hadoop 和 Python 处理大数据。
• 了解 Spark 和 Hadoop 的功能、核心组件和架构。
• 了解如何集成 Spark、Hadoop 和 Python 进行大数据处理。
• 探索 Spark 生态系统中的工具（Spark MlLib、Spark Streaming、Kafka、Sqoop、Kafka 和 Flume）。
• 构建类似于 Netflix、YouTube、Amazon、Spotify 和 Google 的协作过滤推荐系统。
• 使用 Apache Mahout 扩展机器学习算法。