Apache Spark Streaming with Scala培训

在这个由讲师指导的 中国 现场培训中，参与者将学习如何在动手练习时结合使用 Python 和 Spark 来分析大数据。

在培训结束时，参与者将能够：

• 了解如何将 Spark 与 Python 结合使用来分析大数据。
• 进行模仿真实案例的练习。
• 使用不同的工具和技术使用 PySpark 进行大数据分析。

在这个以讲师为主导的中国现场培训中，参与者将了解用于处理图形数据的技术产品和实施方法。目的是识别真实世界的对象、它们的特征和关系，然后对这些关系进行建模，并使用 Graph Computing（也称为图形分析）方法将它们作为数据进行处理。我们从广泛的概述开始，并在逐步完成一系列案例研究、动手练习和实时部署时缩小具体工具的范围。

在培训结束时，参与者将能够：

• 了解如何持久化和遍历图形数据。
• 为给定任务选择最佳框架（从图形数据库到批处理框架）。
• 实现 Hadoop、Spark、GraphX 和 Pregel，在多台机器上并行进行图计算。
• 从图形、流程和遍历的角度查看现实世界的大数据问题。

MLlib是Spark的机器学习（ML）库。其目标是使实用的机器学习可扩展且简单。它由常见的学习算法和实用程序组成，包括分类，回归，聚类，协同过滤，降维，以及低级优化原语和更高级别的管道API。

它分为两个包：

• spark.mllib包含在RDD之上构建的原始API。

• spark.ml提供了构建在DataFrame之上的更高级API，用于构建ML管道。

听众

本课程面向希望利用Apache Spark内置机器库的工程师和开发人员

本课程面向希望在其应用程序中理解和实施人工智能的开发人员和数据科学家。 特别关注数据分析、分布式人工智能和自然语言处理。

该培训旨在提供Scala语言的机会，学习编程范式的语法和空间应用程序。

本课程的目的是提供在实践中应用Machine Learning方法的基本熟练程度。通过使用Scala编程语言及其各种库，并基于大量实际示例，本课程教授如何使用Machine Learning最重要的构建块，如何制定数据建模决策，解释算法的输出和验证结果。

我们的目标是让您自信地理解和使用Machine Learning工具箱中最基本的工具，并避免Data Science应用程序的常见缺陷。

Scala是一种简洁的面向对象语言，具有函数式编程功能，包括currying，类型推断，不变性，惰性求值和模式匹配。 Scala代码在JVM上运行，旨在解决Java一些缺点。

在这个由讲师指导的实时培训参与者将学习如何使用Scala的高级功能（包括其类型系统），使用对象功能方法编写更好的代码。

在培训结束时，参与者将能够：

• 利用Scala的类型系统获得最大利益
• 在功能上处理异常
• 使用Scala创建库和DSL
• 使用Scala的高级功能进行模式匹配

课程形式

• 部分讲座，部分讨论，练习和繁重的实践练习

Scala是一种简洁的面向对象语言，具有函数式编程功能，包括currying，类型推断，不变性，惰性求值和模式匹配。

在这位由讲师主导的实践培训参与者中，他们将学习如何使用Scala的高级功能来开发易于编写，阅读，测试和更改的构造良好的软件。本培训的重点是功能性编程，使用真实案例研究和讨论作为实验练习和活动的参考。

在培训结束时，参与者将能够：

• 实现高级函数编程技术
• 理解复杂类型的签名
• 通过类型和替换来理解代码
• 在功能上处理异常
• 使用Scala创建库和DSL
• 使用Scala的高级功能进行模式匹配

课程形式

• 部分讲座，部分讨论，练习和繁重的实践练习

本研讨会旨在将参与者从初学者到中间/先进的水平,了解和了解框架。

整个课程是手动的,主要是由教练在开始时驱动,并逐渐转向参与者自己制作代码(并下载执行 / 解决方案由教练写的)。

观众不应该有事先了解(0),教练将花费必要的时间来解释和澄清与使用(0)代码有关的所有细节。

目的：

本课程将介绍Apache Spark 。学生将学习Spark如何适应Big Data生态系统，以及如何使用Spark进行数据分析。该课程涵盖Spark shell，用于交互式数据分析，Spark内部，Spark API，Spark SQL ，Spark流，机器学习和graphX。

听众：

开发人员/数据分析师

这个由讲师指导的中国现场培训（现场或远程）介绍了Hortonworks Data Platform (HDP)，并引导参与者完成Spark + Hadoop解决方案的部署。

在培训结束时，参与者将能够：

使用 Hortonworks 大规模可靠地运行 Hadoop。 将 Hadoop 的安全、治理和运营功能与 Spark 的敏捷分析工作流统一起来。 使用 Hortonworks 调查、验证、认证和支持 Spark 项目中的每个组件。 处理不同类型的数据，包括结构化、非结构化、动态和静态数据。

Magellan 是一款开源分布式执行引擎,用于大数据的地质空间分析。 实施在 Apache Spark 的顶部,它扩展 Spark SQL 并为地空间分析提供相对抽象。

由导师领导的现场培训介绍了实施地空间分析的概念和方法,并通过创建一个预测分析应用程序,使用Magellan在Spark的参与者行走。

在本研讨会结束后,参与者将能够:

• 有效地查询、分配和将地质空间数据集集合到规模
• 在商业智能和预测分析应用中实施地空间数据
• 使用空间背景扩展移动设备、传感器、日志和可携带设备的能力

课程格式

• 互动讲座和讨论。
• 很多练习和练习。
• 在现场实验室环境中进行手动实施。

课程定制选项

• 要申请此课程的定制培训,请联系我们安排。

Spark SQL是Apache Spark用于处理结构化和非结构化数据的模块。 Spark SQL提供有关数据结构以及正在执行的计算的信息。此信息可用于执行优化。 Spark SQL两个常见用途是：
- 执行SQL查询。
- 从现有Hive安装中读取数据。

在这个由讲师指导的实时培训（现场或远程）中，参与者将学习如何使用Spark SQL分析各种类型的数据集。

在培训结束时，参与者将能够：

• 安装和配置Spark SQL 。
• 使用Spark SQL执行数据分析。
• 以不同格式查询数据集。
• 可视化数据和查询结果。

课程格式

• 互动讲座和讨论。
• 大量的练习和练习。
• 在实时实验室环境中亲自实施。

课程自定义选项

• 要申请本课程的定制培训，请联系我们安排。

在这个以讲师为主导的中国现场培训（现场或远程）中，参与者将学习如何设置不同的Stream Processing框架并将其与现有的大数据存储系统以及相关的软件应用程序和微服务集成。

在培训结束时，参与者将能够：

• 安装和配置不同的 Stream Processing 框架，例如 Spark Streaming 和 Kafka Streaming。
• 了解并选择最适合工作的框架。
• 以逐条记录的方式连续、并发地处理数据。
• 将 Stream Processing 解决方案与现有数据库、数据仓库、数据湖等集成。
• 将最合适的流处理库与企业应用程序和微服务集成 。

大数据分析涉及检查大量不同数据集的过程，以便发现相关性，隐藏模式和其他有用的见解。

健康产业拥有大量复杂的异构医学和临床数据。对健康数据应用大数据分析在获得改善医疗保健服务的见解方面具有巨大潜力。然而，这些数据集的巨大性给分析和临床环境的实际应用带来了巨大挑战。

在这个以讲师为主导的现场培训（远程）中，参与者将学习如何在健康状况下进行大数据分析，因为他们将逐步进行一系列动手实践练习。

在培训结束时，参与者将能够：

• 安装和配置大数据分析工具，如Hadoop MapReduce和Spark
• 了解医疗数据的特征
• 应用大数据技术处理医疗数据
• 在健康应用的背景下研究大数据系统和算法

听众

• 开发商
• 数据科学家

课程格式

• 部分讲座，部分讨论，练习和繁重的实践练习。

注意

• 要申请本课程的定制培训，请联系我们安排。