Apache Hama培训

技术的进步和信息量的增加正在改变包括政府在内的许多行业的业务开展方式。Go由于移动设备和应用程序、智能传感器和设备、云计算解决方案以及面向公民的门户的快速增长，数据生成和数字归档率正在上升。随着数字信息的扩展和日益复杂，信息管理、处理、存储、安全和处置也变得更加复杂。新的捕获、搜索、发现和分析工具正在帮助组织从其非结构化数据中获得见解。政府市场正处于一个转折点，他们意识到信息是一种战略资产，政府需要保护、利用和分析结构化和非结构化信息，以便更好地服务和满足任务要求。随着政府领导者努力发展数据驱动型组织以成功完成使命，他们正在为关联事件、人员、流程和信息之间的依赖关系奠定基础。

高价值的政府解决方案将由最具颠覆性的技术混合而成：

• 移动设备和应用程序
• 云服务
• 社交商业技术和网络
• Big Data 和分析

IDC 预测，到 2020 年，IT 行业将达到 5 万亿美元，比现在大约 1.7 万亿美元，而该行业 80% 的增长将由这些第三平台技术推动。从长远来看，这些技术将成为处理日益增长的数字信息复杂性的关键工具。Big Data 是智能行业解决方案之一，它允许政府根据分析大量数据（相关和不相关、结构化和非结构化）所揭示的模式采取行动，从而做出更好的决策。

“理解这些大量的Big Data需要尖端的工具和技术，这些工具和技术可以从大量不同的信息流中分析和提取有用的知识，”白宫科技政策办公室的Tom Kalil和Fen Zhao在OSTP博客上的一篇文章中写道。

白宫在2012年建立国家Big Data研究与开发计划（National Big Data Research and Development Initiative）时，在帮助各机构发现这些技术方面迈出了一步。该计划包括超过 2 亿美元，以充分利用 Big Data 的爆炸式增长以及分析它所需的工具。

Big Data 带来的挑战几乎与它的承诺一样令人生畏。高效存储数据是这些挑战之一。与往常一样，预算紧张，因此机构必须最大限度地降低每兆字节的存储价格，并使数据易于访问，以便用户可以在需要时以需要的方式获取数据。备份海量数据加剧了这一挑战。

有效分析数据是另一个重大挑战。许多机构采用商业工具，使他们能够筛选海量数据，发现可以帮助他们更有效地运营的趋势。（MeriTalk 最近的一项研究发现，联邦 IT 高管认为 Big Data 可以帮助机构节省超过 5000 亿美元，同时实现任务目标。

定制开发的 Big Data 工具还使机构能够满足分析其数据的需求。例如，橡树岭国家实验室的计算数据分析小组已将其食人鱼数据分析系统提供给其他机构。该系统帮助医学研究人员找到了一种联系，可以在主动脉瘤发作之前提醒医生注意主动脉瘤。它还用于更平凡的任务，例如筛选简历以将求职者与招聘经理联系起来。

听众

如果您试图理解您可以访问或想要分析网络上可用的非结构化数据（如Twitter，链接等等），那么本课程适合您。

它主要针对需要选择哪些数据值得收集以及值得分析的决策者和人员。

它不是针对人们配置解决方案，但这些人将从大局中受益。

交货方式

在课程期间，代表们将获得大多数开源技术的工作示例。

讲座后将进行简短的讲座，参加者将进行简单的练习

使用的内容和软件

每次运行课程时都会更新所有使用的软件，因此我们会检查最新版本。

它涵盖了从获取，格式化，处理和分析数据的过程，以解释如何使用机器学习自动化决策制定过程。

第1天 - 提供重要的Big Data主题领域的高级概述。该模块分为一系列部分，每个部分都附有实践练习。

第2天 - 探讨一系列与Big Data环境相关的分析实践和工具的主题。它没有涉及实现或编程细节，而是将概念保持在概念层面，重点放在使参与者能够全面了解Big Data解决方案提供的常见分析功能和特性的主题上。

第3天 - 概述与Big Data解决方案平台架构相关的基本和必要主题领域。它涵盖了开发Big Data解决方案平台所需的Big Data机制以及用于组装数据处理平台的架构选项。还提供了常见方案，以便基本了解Big Data解决方案平台的使用方式。

第4天 - 通过探索与Big Data解决方案平台架构相关的高级主题，在第3天构建。特别是，介绍和讨论了构成Big Data解决方案平台的不同架构层，包括数据源，数据入口，数据存储，数据处理和安全性。

第5天 - 涵盖了一系列练习和问题，旨在测试代表们应用第3天和第4天所涵盖主题知识的能力。

Big Data是指用于存储和处理大型数据集的解决方案。最初由Go ogle开发，这些Big Data解决方案已经发展并激发了其他类似的项目，其中许多项目都是开源的。 R是金融行业中流行的编程语言。

当传统存储技术无法处理您需要存储的数据量时，就会有大量的替代方案。本课程试图引导参与者存储和分析Big Data替代方案以及他们的优缺点。

本课程主要侧重于解决方案的讨论和介绍，但可根据需要提供动手练习。

该课程是数据科学家技能集（领域：数据和技术）的一部分。

大数据是如此庞大和复杂的数据集，传统的数据处理应用软件不足以处理它们。大数据挑战包括捕获数据，数据存储，数据分析，搜索，共享，传输，可视化，查询，更新和信息隐私。

在中国中完成这种由讲师指导的现场培训的参与者将获得对Big Data及其相关技术，方法和工具的实际理解。

参与者将有机会通过动手练习将这些知识付诸实践。小组互动和教师反馈是课堂的重要组成部分。

该课程从介绍大数据的基本概念开始，然后进入用于执行数据分析的编程语言和方法。最后，我们讨论了支持大数据存储、分布式处理和 Scala 能力的工具和基础设施。

为了满足监管机构的合规要求，CSP（ Communication服务提供商）可以利用大数据分析，这不仅可以帮助他们满足合规性，而且在同一项目的范围内，他们可以提高客户满意度，从而减少客户流失。事实上，由于合规性与合同相关的服务质量有关，因此任何实现合规性的举措都将提高CSP的“竞争优势”。因此，监管机构应该能够为监管机构和CSP之间互利的CSP建议/指导一套Big Data分析实践，这一点非常重要。

该课程包括8个模块（第1天4个，第2天4个）

技术的进步和越来越多的信息正在改变执法的方式。 Big Data带来的挑战几乎与Big Data的承诺一样令人生畏。有效存储数据是这些挑战之一;有效地分析它是另一回事。

在以讲师为主导的现场培训中，参与者将学习处理Big Data技术的思维方式，评估其对现有流程和政策的影响，并实施这些技术，以识别犯罪活动和预防犯罪。将审查世界各地执法组织的案例研究，以深入了解其采用方法，挑战和结果。

在培训结束时，参与者将能够：

• 将Big Data技术与传统的数据收集流程相结合，在调查过程中拼凑出一个故事
• 实施工业大数据存储和处理数据分析解决方案
• 准备一份提案，以采用最适当的工具和程序，使数据驱动的方法能够进行刑事调查

听众

• 具有技术背景的执法专家

课程形式

• 部分讲座，部分讨论，练习和繁重的实践练习

这个基于课堂的培训课程将探索Big Data 。代表们将使用基于计算机的示例和案例研究练习来使用相关的大数据工具

这种以讲师为主导的中国现场现场培训针对的是希望学习如何实施机器学习策略，同时最大限度地利用大数据的技术人员。

在培训结束时，参与者将：

• 了解机器学习的演变和趋势。
• 了解机器学习在不同行业的应用方式。
• 熟悉可用于在组织内实施机器学习的工具、技能和服务。
• 了解如何使用机器学习来增强数据挖掘和分析。
• 了解什么是数据中间后端，以及企业如何使用它。
• 了解大数据和智能应用在各行各业中发挥的作用。

这种以讲师为主导的中国现场现场培训针对的是希望使用Sqoop和Flume进行大数据的软件工程师。

在培训结束时，参与者将能够：

• 使用 Sqoop 和 Flume 采集大数据。
• 从多个数据源引入数据。
• 将数据从关系数据库移动到 HDFS 和 Hive。
• 将数据从 HDFS 导出到关系型数据库。

这种以讲师为主导的中国现场培训（现场或远程）针对的是希望部署Talend Open Studio for Big Data以简化大数据读取和处理过程的技术人员。

在培训结束时，参与者将能够：

• 安装和配置 Talend Open Studio for Big Data。
• 与 Cloudera、HortonWorks、MapR、Amazon EMR 和 Apache 等大数据系统连接。
• 了解并设置 Open Studio 的大数据组件和连接器。
• 配置参数，自动生成MapReduce代码。
• 使用 Open Studio 的拖放界面运行 Hadoop 作业。
• 对大数据管道进行原型设计。
• 自动执行大数据集成项目。

本课程专门面向寻求在分布式系统环境中存储和处理大型数据集的解决方案的IT专家

课程目标：

获取有关Hadoop集群管理的知识