IBM Datastage For Administrators and Developers培训

在这个由讲师指导的中国现场培训中，参与者将学习如何构建Data Vault。

在培训结束时，参与者将能够：

• 了解 Data Vault 2.0 背后的架构和设计概念，以及它与大数据、NoSQL 和 AI 的交互。
• 使用数据保险存储技术对数据仓库中的历史数据进行审计、跟踪和检查。
• 开发一致且可重复的 ETL（提取、转换、加载）流程。
• 构建和部署高度可扩展且可重复的仓库。

该课程是数据科学家技能集（领域：数据和技术）的一部分。

这种由讲师指导的 中国（远程或远程）实时培训面向希望了解如何使用 Azure Data Lake Storage Gen2 实现有效数据分析解决方案的中级数据工程师。

在培训结束时，参与者将能够：

• 了解 Azure Data Lake Storage Gen2 的体系结构和主要功能。
• 优化数据存储和访问，提高成本和性能。
• 将 Azure Data Lake Storage Gen2 与其他 Azure 服务集成，以进行分析和数据处理。
• 使用 Azure Data Lake Storage Gen2 API 开发解决方案。
• 解决常见问题并优化存储策略。

Apache Druid是一个用Java编写的开源，面向列的分布式数据存储。它旨在快速获取大量事件数据，并对该数据执行低延迟OLAP查询。德鲁伊通常用于商业智能应用程序，以分析大量的实时和历史数据。它还非常适合为最终用户提供快速，交互式分析仪表板。德鲁伊被阿里巴巴，Airbnb， Cisco ，eBay，Netflix，Paypal和雅虎等公司使用。

在这个由讲师指导的实时课程中，我们探讨了数据仓库解决方案的一些局限性，并讨论了德鲁伊如何能够补充这些技术以形成灵活且可扩展的流分析堆栈。我们通过许多示例，为参与者提供在实验室环境中实施和测试基于德鲁伊的解决方案的机会。

课程格式

• 部分讲座，部分讨论，繁重的实践练习，偶尔的测试来衡量理解

这种以讲师为主导的中国现场培训（现场或远程）针对的是希望建立多节点Greenplum数据库的开发人员。

在培训结束时，参与者将能够：

• 安装和配置Pivotal Greenplum。
• 根据当前需求和未来扩展计划对数据进行建模。
• 执行不同的技术，在多个节点之间分发数据。
• 通过调优提高数据库性能。
• 对Greenplum数据库进行监控和故障排除。

这种以讲师为主导的中国现场培训（现场或远程）针对的是希望设置Greenplum Database商业智能和数据仓库解决方案的管理员。

在培训结束时，参与者将能够：

• 使用Greenplum满足加工需求。
• 执行ETL操作进行数据处理。
• 利用现有的查询处理基础结构。

Apache Kylin是大数据的极端分布分析引擎。

在这项由导师领导的现场培训中,参与者将学习如何使用 Apache Kylin 设置实时数据库。

在本研讨会结束后,参与者将能够:

• 使用Kylin使用实时流媒体数据
• 使用 Apache Kylin's 强大的功能,丰富的 SQL 界面, spark cubing 和 subsecond 查询 latency

笔记

• 我们使用Kylin的最新版本(根据这篇文章, Apache Kylin v2.0)

观众

• 大数据工程师
• [ ] 分析师

课程格式

• 部分讲座,部分讨论,练习和重实习

Mem SQL是一个用于云和内部部署的内存中分布式SQL数据库管理系统。它是一个实时数据仓库，可立即提供实时和历史数据的洞察力。

在这个由讲师指导的实时培训中，参与者将学习Mem SQL的基本知识，以便进行开发和管理。

在培训结束时，参与者将能够：

• 了解Mem SQL的关键概念和特征
• 安装，设计，维护和操作Mem SQL
• 优化Mem SQL模式
• 改进Mem SQL查询
• Mem SQL基准性能
• 使用Mem SQL构建实时数据应用程序

听众

• 开发商
• 管理员
• 运营工程师

课程形式

• 部分讲座，部分讨论，练习和繁重的实践练习

为了满足监管机构的合规要求，CSP（ Communication服务提供商）可以利用大数据分析，这不仅可以帮助他们满足合规性，而且在同一项目的范围内，他们可以提高客户满意度，从而减少客户流失。事实上，由于合规性与合同相关的服务质量有关，因此任何实现合规性的举措都将提高CSP的“竞争优势”。因此，监管机构应该能够为监管机构和CSP之间互利的CSP建议/指导一套Big Data分析实践，这一点非常重要。

该课程包括8个模块（第1天4个，第2天4个）

技术的进步和信息量的增加正在改变包括政府在内的许多行业的业务开展方式。Go由于移动设备和应用程序、智能传感器和设备、云计算解决方案以及面向公民的门户的快速增长，数据生成和数字归档率正在上升。随着数字信息的扩展和日益复杂，信息管理、处理、存储、安全和处置也变得更加复杂。新的捕获、搜索、发现和分析工具正在帮助组织从其非结构化数据中获得见解。政府市场正处于一个转折点，他们意识到信息是一种战略资产，政府需要保护、利用和分析结构化和非结构化信息，以便更好地服务和满足任务要求。随着政府领导者努力发展数据驱动型组织以成功完成使命，他们正在为关联事件、人员、流程和信息之间的依赖关系奠定基础。

高价值的政府解决方案将由最具颠覆性的技术混合而成：

• 移动设备和应用程序
• 云服务
• 社交商业技术和网络
• Big Data 和分析

IDC 预测，到 2020 年，IT 行业将达到 5 万亿美元，比现在大约 1.7 万亿美元，而该行业 80% 的增长将由这些第三平台技术推动。从长远来看，这些技术将成为处理日益增长的数字信息复杂性的关键工具。Big Data 是智能行业解决方案之一，它允许政府根据分析大量数据（相关和不相关、结构化和非结构化）所揭示的模式采取行动，从而做出更好的决策。

“理解这些大量的Big Data需要尖端的工具和技术，这些工具和技术可以从大量不同的信息流中分析和提取有用的知识，”白宫科技政策办公室的Tom Kalil和Fen Zhao在OSTP博客上的一篇文章中写道。

白宫在2012年建立国家Big Data研究与开发计划（National Big Data Research and Development Initiative）时，在帮助各机构发现这些技术方面迈出了一步。该计划包括超过 2 亿美元，以充分利用 Big Data 的爆炸式增长以及分析它所需的工具。

Big Data 带来的挑战几乎与它的承诺一样令人生畏。高效存储数据是这些挑战之一。与往常一样，预算紧张，因此机构必须最大限度地降低每兆字节的存储价格，并使数据易于访问，以便用户可以在需要时以需要的方式获取数据。备份海量数据加剧了这一挑战。

有效分析数据是另一个重大挑战。许多机构采用商业工具，使他们能够筛选海量数据，发现可以帮助他们更有效地运营的趋势。（MeriTalk 最近的一项研究发现，联邦 IT 高管认为 Big Data 可以帮助机构节省超过 5000 亿美元，同时实现任务目标。

定制开发的 Big Data 工具还使机构能够满足分析其数据的需求。例如，橡树岭国家实验室的计算数据分析小组已将其食人鱼数据分析系统提供给其他机构。该系统帮助医学研究人员找到了一种联系，可以在主动脉瘤发作之前提醒医生注意主动脉瘤。它还用于更平凡的任务，例如筛选简历以将求职者与招聘经理联系起来。

第1天 - 提供重要的Big Data主题领域的高级概述。该模块分为一系列部分，每个部分都附有实践练习。

第2天 - 探讨一系列与Big Data环境相关的分析实践和工具的主题。它没有涉及实现或编程细节，而是将概念保持在概念层面，重点放在使参与者能够全面了解Big Data解决方案提供的常见分析功能和特性的主题上。

第3天 - 概述与Big Data解决方案平台架构相关的基本和必要主题领域。它涵盖了开发Big Data解决方案平台所需的Big Data机制以及用于组装数据处理平台的架构选项。还提供了常见方案，以便基本了解Big Data解决方案平台的使用方式。

第4天 - 通过探索与Big Data解决方案平台架构相关的高级主题，在第3天构建。特别是，介绍和讨论了构成Big Data解决方案平台的不同架构层，包括数据源，数据入口，数据存储，数据处理和安全性。

第5天 - 涵盖了一系列练习和问题，旨在测试代表们应用第3天和第4天所涵盖主题知识的能力。

技术的进步和越来越多的信息正在改变执法的方式。 Big Data带来的挑战几乎与Big Data的承诺一样令人生畏。有效存储数据是这些挑战之一;有效地分析它是另一回事。

在以讲师为主导的现场培训中，参与者将学习处理Big Data技术的思维方式，评估其对现有流程和政策的影响，并实施这些技术，以识别犯罪活动和预防犯罪。将审查世界各地执法组织的案例研究，以深入了解其采用方法，挑战和结果。

在培训结束时，参与者将能够：

• 将Big Data技术与传统的数据收集流程相结合，在调查过程中拼凑出一个故事
• 实施工业大数据存储和处理数据分析解决方案
• 准备一份提案，以采用最适当的工具和程序，使数据驱动的方法能够进行刑事调查

听众

• 具有技术背景的执法专家

课程形式

• 部分讲座，部分讨论，练习和繁重的实践练习

Big Data是指用于存储和处理大型数据集的解决方案。最初由Go ogle开发，这些Big Data解决方案已经发展并激发了其他类似的项目，其中许多项目都是开源的。 R是金融行业中流行的编程语言。

当传统存储技术无法处理您需要存储的数据量时，就会有大量的替代方案。本课程试图引导参与者存储和分析Big Data替代方案以及他们的优缺点。

本课程主要侧重于解决方案的讨论和介绍，但可根据需要提供动手练习。