Spark大数据技术与应用（第2版）（微课版）

图书介绍

1、本书是“十四五”职业教育国家规划教材、“十三五”职业教育国家规划教材，定位于Spark大数据技术从入门到应用的系统教程，采用了以任务为导向的教学模式，按照解决实际任务的工作流程路线，逐步学习相关的理论知识点，推导生成可行的解决方案，最后落实在任务实现环节。2、全书大部分章节紧扣任务需求展开，不堆积知识点，着重于解决思路的启发与解决方案的实施。从任务需求到实现这一完整流程的体验，更有助于读者真正的理解与掌握Spark大数据技术。3、本书全面地介绍了Spark大数据技术的相关知识。全书共9章，具体内容包括Spark概述、Scala基础、Spark编程、Spark编程进阶、Spark SQL结构化数据文件处理、Spark Streaming实时计算框架、Spark GraphX图计算框架、Spark MLlib功能强大的算法库、以及广告检测流量作弊识别的项目案例。4、本书的大部分章节包含了实训与课后习题，通过练习和操作实践，可以帮助读者巩固所学的内容。

本书保留原书特色的基础上，对教材进行了内容与代码的全面升级。第2版修订的主要内容如下：1、 第1章修改了Spark集群的搭建过程介绍，将使用的CentOS版本由CentOS 6.7升级至CentOS 7.8，将使用的JDK版本由JDK 1.7升级至JDK 1.8，将使用的Hadoop版本由Hadoop 2.6.4升级至Hadoop 3.1.4，将使用的Spark版本由Spark 1.6.3升级至Spark 2.4.7。 2、第2章修改了Scala的安装过程介绍，将Scala版本由Scala 2.10.6升级至Scala 2.11.12。 3、第3章将章节的例子数据由学生成绩表数据更换为员工薪资表数据，根据数据重新了设置任务名称，并修改了章节中任务实现的内容。4、第4章修改了Spark开发环境搭建的过程介绍，将IDEA版本由ideaIC 2017.1.5升级至ideaIC 2018.3.6，将IDEA中Scala插件的版本由2017.1.20升级至2018.3.6。5、第4章的案例更换为“统计分析竞赛网站用户访问日志数据”。6、第5章修改了Spark SQL CLI的配置过程，将使用的Hive版本由Hive 1.2.1升级至Hive 3.1.2，将使用的MySQL驱动包版本由5.1.32升级至5.1.27；修改了Spark SQL与Shell交互的内容介绍。7、第5章的案例更换为“统计分析竞赛网站用户访问日志数据”。8、第6章的案例更换为“实现书籍热度实时计算”。9、第7章的案例更换为“实现网页价值排名Top10”。10、第8章的案例更换为“使用决策树算法实现网络入侵识别分类”。11、第9章的案例更换为“广告检测的流量作弊识别”。12、更新了全书的实训和课后习题。

图书目录

第1章 Spark概述

任务1.1 认识Spark
任务1.2 搭建Spark环境
任务1.3 了了解Spark运行架构与原理
小结
课后习题

第2章 Scala基础

任务2.1 安装与运行Scala
任务2.2 定义函数识别号码类型
任务2.3 统计广州号码段数量
任务2.4 根据归属地对手机号码段分组
任务2.5 编写手机号码归属地信息查询程序
小结
实训
课后习题

第3章 Spark编程

任务3.1 读取员工薪资数据创建RDD
任务3.2 查询上半年实际薪资Top3的员工姓名
任务3.3 查询上半年或下半年实际薪资大于20万的员工姓名
任务3.4 输出每位员工2020年的总实际薪资
任务3.5 查询每位员工2020年的月均实际薪资
任务3.6 存储汇总后的员工薪资为文本文件
小结
实训
课后习题

第4章 Spark编程进阶

任务4.1 搭建Spark开发环境
任务4.2 统计分析竞赛网站用户访问日志数据
小结
实训 自定义分区器实现按人物标签进行数据区分
课后习题

第5章 Spark SQL：结构化数据文件处理

任务5.1 认识Spark SQL
任务5.2 掌握DataFrame基础操作
任务5.3 探索分析房屋售价数据
小结
实训
课后习题

第6章 Spark Streaming：实时计算框架

任务6.1 初识Spark Streaming
任务6.2 掌握DStream基础操作
任务6.3 实现书籍热度实时计算
小结
实训
课后习题

第7章 Spark GraphX：图计算框架

任务7.1 认识Spark GraphX
任务7.2 了解GraphX常用API
任务7.3 实现网页价值排名Top10
小结
实训
课后习题

第8章 Spark MLlib：功能强大的算法库

任务8.1 了解MLlib算法库
任务8.2 使用决策树算法实现网络入侵识别分类
小结
实训
课后习题

第9章 项目案例：广告检测的流量作弊识别

任务9.1 分析需求
任务9.2 探索分析广告流量数据
任务9.3 预处理数据并构建特征
任务9.4 构建与评估分类模型
小结