数据仓库：概念、设计与实现 培训

这是一个由讲师指导的中国（线上或线下）培训课程，针对希望使用Google Colab和Apache Spark进行大数据处理和分析的中级数据科学家和工程师。

在培训结束时，参与者将能够：

• 使用Google Colab和Spark建立大数据环境。
• 使用Apache Spark高效处理和分析大型数据集。
• 在协作环境中可视化大数据。
• 将Apache Spark与云端工具集成。

大数据分析涉及检查大量不同数据集的过程，以便发现相关性，隐藏模式和其他有用的见解。

健康产业拥有大量复杂的异构医学和临床数据。对健康数据应用大数据分析在获得改善医疗保健服务的见解方面具有巨大潜力。然而，这些数据集的巨大性给分析和临床环境的实际应用带来了巨大挑战。

在这个以讲师为主导的现场培训（远程）中，参与者将学习如何在健康状况下进行大数据分析，因为他们将逐步进行一系列动手实践练习。

在培训结束时，参与者将能够：

• 安装和配置大数据分析工具，如Hadoop MapReduce和Spark
• 了解医疗数据的特征
• 应用大数据技术处理医疗数据
• 在健康应用的背景下研究大数据系统和算法

听众

• 开发商
• 数据科学家

课程格式

• 部分讲座，部分讨论，练习和繁重的实践练习。

注意

• 要申请本课程的定制培训，请联系我们安排。

本课程专为IT专业人士设计，他们正在寻找在分散式系统环境中储存和处理大数据集的解决方案。

课程目标：

获取有关Hadoop集群管理的知识

这种由讲师指导的中国现场培训（现场或远程）针对的是希望学习如何在组织内设置，部署和管理Hadoop集群的系统管理员。

在培训结束时，参与者将能够：

• 安装和配置 Apache Hadoop。
• 了解 Hadoop 生态系统中的四个主要组件：HDFS、MapReduce、YARN 和 Hadoop Common。
• 使用 Hadoop 分布式文件系统 （HDFS） 将集群扩展到数百或数千个节点。  
• 将 HDFS 设置为本地 Spark 部署的存储引擎。
• 设置 Spark 以访问替代存储解决方案，例如 Amazon S3 和 NoSQL 数据库系统，例如 Redis、Elasticsearch、Couchbase、Aerospike 等。
• 执行管理任务，例如配置、管理、监控和保护 Apache Hadoop 集群。

In this instructor-led, live training in 中国 (onsite or remote), participants will learn how to set up and integrate different Stream Processing frameworks with existing big data storage systems and related software applications and microservices.

By the end of this training, participants will be able to:

• Install and configure different Stream Processing frameworks, such as Spark Streaming and Kafka Streaming.
• Understand and select the most appropriate framework for the job.
• Process of data continuously, concurrently, and in a record-by-record fashion.
• Integrate Stream Processing solutions with existing databases, data warehouses, data lakes, etc.
• Integrate the most appropriate stream processing library with enterprise applications and microservices.

本课程为讲师指导的中国（线上或线下）培训，面向希望使用SMACK堆栈构建大数据解决方案的数据科学家。

通过本培训，参与者将能够：

• 实现用于处理大数据的数据管道架构。
• 使用Apache Mesos和Docker开发集群基础设施。
• 使用Spark和Scala进行数据分析。
• 使用Apache Cassandra管理非结构化数据。

这种以讲师为主导的中国现场培训（现场或远程）针对的是希望建立和部署Apache Spark系统以处理大量数据的工程师。

在培训结束时，参与者将能够：

• 安装和配置 Apache Spark。
• 快速处理和分析非常大的数据集。
• 了解Apache Spark和Hadoop MapReduce之间的区别，以及何时使用哪个。
• 将 Apache Spark 与其他机器学习工具集成。

这种由讲师指导的现场培训中国（远程或远程）面向希望部署、维护和优化 Spark 集群的初级到中级系统管理员。

在培训结束时，参与者将能够：

• 在各种环境中安装和配置 Apache Spark。
• 管理群集资源并监视 Spark 应用程序。
• 优化Spark集群性能。
• 实施安全措施并确保高可用性。
• 调试和排查常见的 Spark 问题。

Apache Spark的学习曲线在开始时逐渐增加，需要付出很多努力来获得第一次回归。本课程旨在突破第一个艰难的部分。参加本课程后，参与者将了解Apache Spark的基础知识，他们将明确区分RDD和DataFrame，他们将学习Python和Scala API，他们将理解执行者和任务等。同样遵循最佳实践，本课程重点关注云部署，Databricks和AWS。学生还将了解AWS EMR与AWS最新Spark服务之一AWS Glue之间的差异。

听众：

数据工程师， DevOps ，数据科学家

目的：

本课程将介绍Apache Spark 。学生将学习Spark如何适应Big Data生态系统，以及如何使用Spark进行数据分析。该课程涵盖Spark shell，用于交互式数据分析，Spark内部，Spark API，Spark SQL ，Spark流，机器学习和graphX。

听众：

开发人员/数据分析师

这种由 讲师指导的 中国 现场培训（在线或现场）面向希望使用 Spark NLP（基于 Apache Spark 构建）来开发、实施和扩展自然语言文本处理模型和管道的数据科学家和开发人员。

在本次培训结束时，参与者将能够：

• 设置必要的开发环境以开始使用 Spark NLP 构建 NLP 管道。
• 了解使用 Spark NLP 的功能、架构和优势。
• 使用 Spark NLP 中提供的预训练模型来实现文本处理。
• 了解如何为生产级项目构建、训练和扩展 Spark NLP 模型。
• 对实际使用案例（临床数据、客户行为洞察等）应用分类、推理和情绪分析。

在这个由讲师指导的 中国 现场培训中，参与者将学习如何在动手练习中同时使用 Python 和 Spark 来分析大数据。

在培训结束时，参与者将能够：

• 了解如何将 Spark 与 Python 结合使用来分析 Big Data。
• 进行模仿真实世界案例的练习。
• 使用 PySpark 使用不同的工具和技术进行大数据分析。

这种以讲师为主导的中国现场培训（现场或远程）针对希望使用和集成Spark，Hadoop和Python以处理，分析和转换大型复杂数据集的开发人员。

在培训结束时，参与者将能够：

• 设置必要的环境以开始使用 Spark、Hadoop 和 Python 处理大数据。
• 了解 Spark 和 Hadoop 的功能、核心组件和架构。
• 了解如何集成 Spark、Hadoop 和 Python 进行大数据处理。
• 探索 Spark 生态系统中的工具（Spark MlLib、Spark Streaming、Kafka、Sqoop、Kafka 和 Flume）。
• 构建类似于 Netflix、YouTube、Amazon、Spotify 和 Google 的协作过滤推荐系统。
• 使用 Apache Mahout 扩展机器学习算法。

Spark SQL是Apache Spark用于处理结构化和非结构化数据的模块。 Spark SQL提供有关数据结构以及正在执行的计算的信息。此信息可用于执行优化。 Spark SQL两个常见用途是：
- 执行SQL查询。
- 从现有Hive安装中读取数据。

在这个由讲师指导的实时培训（现场或远程）中，参与者将学习如何使用Spark SQL分析各种类型的数据集。

在培训结束时，参与者将能够：

• 安装和配置Spark SQL 。
• 使用Spark SQL执行数据分析。
• 以不同格式查询数据集。
• 可视化数据和查询结果。

课程格式

• 互动讲座和讨论。
• 大量的练习和练习。
• 在实时实验室环境中亲自实施。

课程自定义选项

• 要申请本课程的定制培训，请联系我们安排。

Stratio 是一个以数据为中心的平台，将大数据、人工智慧和治理整合到单一解决方案中。其 Rocket 和 Intelligence 模组使企业环境中的数据探索、转换和高级分析变得迅速。

这是一个由讲师指导的培训（线上或线下），针对希望有效使用 Stratio 中 Rocket 和 Intelligence 模组的中级数据专业人员，重点关注循环结构、用户自定义函数和高级数据逻辑。

在培训结束时，参与者将能够：

• 使用 Rocket 和 Intelligence 模组在 Stratio 平台中导航和工作。
• 在数据撷取、转换和分析的背景下应用 PySpark。
• 使用循环和条件逻辑来控制数据工作流和特征工程任务。
• 创建和管理用户自定义函数 (UDFs)，以在 PySpark 中进行可重用的数据操作。

课程形式

• 互动式讲座和讨论。
• 大量练习和实践。
• 在实时实验室环境中进行实践操作。

课程定制选项

• 如需为此课程请求定制培训，请联系我们安排。