课程大纲

介绍

Apache Spark 功能和体系结构概述

  • Apache Spark 模块:Spark SQL、Spark Streaming、MLlib、GraphX
  • RDD、数据帧、驱动器工作线程、DAG 等。

在 .NET 上设置 Apache Spark

  • 准备 Java VM
  • 使用 .NET Core 运行 .NET for Apache Spark

开始

  • 创建示例 .NET 控制台应用程序
  • 添加 Spark 驱动程序
  • 初始化 SparkSession
  • 执行应用程序

准备数据

  • 构建数据准备管道
  • 执行 ETL(提取、转换和加载)

Machine Learning

  • 构建机器学习模型
  • 准备数据
  • 训练模型

实时处理

  • 实时处理流数据
  • 案例研究:监控传感器数据

交互式查询

  • 使用 Spark SQL
  • 分析结构化数据

可视化结果

  • 绘制结果
  • 使用第三方工具可视化结果

故障 排除

总结和结论

要求

  • 使用 C# 或 F# 的 .NET 编程经验

观众

  • 开发 人员
 21 小时

人数



每位参与者的报价

客户评论 (10)

相关课程

课程分类