Spark大数据技术与应用

图书介绍

1、本书是“十三五”职业教育国家规划教材，定位于Spark大数据技术从入门到应用的简明系统教程，主要包括Spark基本原理与架构、集群安装配置、Scala与Spark编程、Spark代表组件、完整项目案例等精选内容。2、涉及的知识点简要精到，实践操作性强，使用本书能有效指导读者对Spark大数据技术的学习理解及开发应用。3、本书采用了以任务为导向的教学模式，按照解决实际任务的工作流程路线，逐步展开学习相关的理论知识点，推导生成可行的解决方案，最后落实在任务实现环节。4、全书大部分章节紧扣任务需求展开，不堆积知识点，着重于解决思路的启发与解决方案的实施。通过从任务需求到实现这一完整工作流程的体验，有助于读者对Spark大数据技术真正的理解与掌握。

图书目录

第1章  Spark概述    1

任务1.1  认识Spark    1
任务1.2  搭建Spark环境    5
任务1.3  了解Spark运行架构与原理    10
小结    19

第2章  Scala基础    20

任务2.1  Scala的简介与安装    21
任务2.2  定义函数识别号码类型    24
任务2.3  统计广州号码段数量    32
任务2.4  根据归属地对手机号码段分组    34
任务2.5  编写手机号码归属地信息查询程序    40
小结    45
实训    45
课后习题    46

第3章  Spark编程    48

任务3.1  以学生成绩数据创建RDD    49
任务3.2  查询学生成绩表中的前5名    52
任务3.3  输出单科成绩为100分的学生ID    55
任务3.4  输出每位学生所有科目的总成绩    58
任务3.5  输出每位学生的平均成绩    61
任务3.6  将汇总后的学生成绩存储为文本文件    65
小结    72
实训    72
课后习题    74

第4章  Spark编程进阶    76

任务4.1  搭建开发环境    77
任务4.2  使用移动平均预测股票涨跌    92
小结    103
实训    103
课后习题    104

第5章  Spark SQL：结构化数据文件处理    107

任务5.1  认识Spark SQL    108
任务5.2  掌握DataFrame基础操作    111
任务5.3  探索分析法律服务网站数据    125
小结    135
实训    135
课后习题    139

第6章  Spark Streaming:实时计算框架    141

任务6.1  初探Spark Streaming    142
任务6.2  掌握DStream编程模型    145
任务6.3  Spark Streaming实时更新热门博文    155
小结    162
实训    162
课后习题    163

第7章  Spark GraphX：图计算框架    166

任务7.1  认识Spark GraphX    167
任务7.2  了解GraphX常用API    170
任务7.3  构建信任网络并找出目标用户    188
小结    192
实训    192
课后习题    195

第8章  Spark MLlib：功能强大的算法库    197

任务8.1  了解MLlib算法库    198
任务8.2  以Logistic回归实现用户分类    213
小结    222
实训    222
课后习题    224

第9章  项目案例：餐饮平台菜品智能推荐    227

任务9.1  推荐方案设计    228
任务9.2  数据预处理    233
任务9.3  建立推荐模型    241
任务9.4  使用模型进行菜品推荐    264
小结    273