联系我们
 课程时长 21 小时

课程大纲

引言

理解大数据

Spark概览

Python概览

PySpark概览

  • 使用弹性分布式数据集框架分发数据。
  • 使用Spark API运算符分发计算任务。

配置Python与Spark

配置PySpark

使用Amazon Web Services (AWS) EC2实例运行Spark

配置Databricks

配置AWS EMR集群

学习Python编程基础

  • Python入门
  • 使用Jupyter Notebook
  • 使用变量和简单数据类型
  • 操作列表
  • 使用if语句
  • 使用用户输入
  • 操作while循环
  • 实现函数
  • 操作类
  • 操作文件和异常
  • 操作项目、数据和API

学习Spark DataFrame基础

  • Spark DataFrame入门
  • 实现Spark的基本操作
  • 使用Groupby和聚合操作
  • 处理时间戳和日期

Spark DataFrame项目练习

理解基于MLlib的机器学习

结合MLlib、Spark和Python进行机器学习

理解回归

  • 学习线性回归理论
  • 实现回归评估代码
  • 完成线性回归示例练习
  • 学习逻辑回归理论
  • 实现逻辑回归代码
  • 完成逻辑回归示例练习

理解随机森林和决策树

  • 学习树方法理论
  • 实现决策树和随机森林代码
  • 完成随机森林分类示例练习

K-means聚类

  • 理解K-means聚类理论
  • 实现K-means聚类代码
  • 完成聚类示例练习

推荐系统

实现自然语言处理

  • 理解自然语言处理 (NLP)
  • NLP工具概览
  • 完成NLP示例练习

在Python中使用Spark进行流式处理

  • Spark流式处理概览
  • Spark流式处理示例练习

要求

  • 具备通用编程技能。

目标受众

  • 开发人员。
  • IT专业人员。
  • 数据科学家。

客户评论 (6)

即将举行的公开课程

课程分类