PySpark大数据分析与应用

图书介绍

本书特色：1、理论叙述由浅入深，循序渐进，表达通俗易懂。本书的知识点章节从基本概念入手，介绍相关的基础理论，并结合介绍的知识点进行操作实践，再通过应用实例介绍如何运用具体方法解决实际问题。2、强化基础，突出知识的应用性。结合高校教学特点和学生的情况，突出PySpark大数据分析的重点内容，强调PySpark在实际问题中的应用性，充分体现了理论知识与应用的紧密结合。3、通过典型的案例完整展示PySpark数据分析的过程，强化知识的实际应用。本书最后介绍了两个案例，以应用为导向，从需求分析入手，再设计解决方案，最终运用所需知识实现基于PySpark的数据分析过程。

本书内容：从实践出发，重点突出可操作性。本书从构建PySpark的开发环境入手，详细介绍了单机模式的PySpark开发环境搭建（基于Windows系统搭建，搭建过程简单，易于操作）和分布式模式的PySpark开发环境搭建（基于Linux系统搭建，贴近实际应用场景，处理高效），帮助读者构建一个可操作的实践环境，实践本书各章节的内容。且本书大部分章节附有实训和课后习题，便于读者进行上机实验，巩固所学知识，真正理解并应用所学知识。

图书目录

第1章 PySpark大数据分析概述

1.1 大数据分析概述
1.2 Spark大数据技术框架
1.3 PySpark大数据分析
小结
课后习题

第2章 PySpark安装配置

2.1 搭建单机模式的PySpark开发环境
2.2 搭建分布式模式的PySpark开发环境
2.3 Python函数式编程
小结
课后习题

第3章 基于PySpark的DataFrame操作

3.1 Spark SQL概述
3.2 pyspark.sql模块
3.3 DataFrame基础操作
小结
实训
课后习题

第4章 基于PySpark的流式数据处理

4.1 Spark Streaming概述
4.2 pyspark.streaming模块
4.3 Structured Streaming结构化流式处理
小结
实训
课后习题

第5章 基于PySpark的机器学习库

5.1 MLlib算法库
5.2 使用pyspark.ml模块的转换器处理和转换数据
5.3 使用pyspark.ml模块的评估器和模型评价
小结
实训
课后习题

第6章 案例分析：基于PySpark的网站招聘信息的职业类型划分

6.1 需求与架构分析
6.2 数据探索
6.3 数据预处理
6.4 模型构建与评估
6.5 制作词云图
小结

第7章 案例分析：基于PySpark的信用贷款风险分析

7.1 需求与架构分析
7.2 数据探索
7.3 数据预处理
7.4 模型构建与评估
7.5 部署和提交PySpark应用程序
小结