Hadoop大数据平台搭建与应用（工作手册式）（微课版）

图书介绍

本书为高等职业教育计算机类新形态——工作手册式教材，内容包括基础环境的搭建与配置，Hadoop完全分布式集群的搭建与运行，Hadoop 核心组件的应用案例，Hive 组件的安装、配置与应用，ZooKeeper的安装、配置与应用，HBase 的安装、配置与应用，Sqoop 组件的安装、配置与应用，Flume 组件的安装、配置与应用，Kafka 的安装、配置与应用，Spark 的安装、配置与应用，广电大数据用户画像。本书采用项目式设计，以项目学习目标、任务描述、任务分析和任务实施作为立体化工作指南。本书由校企联合开发，融合了大数据平台运维的“1+X”技能考证、大数据运维工程师岗位证书考试等内容，从实用出发，通俗易懂，难度适宜，便于开展理论实践一体化、岗课赛证融通教学。本书配有电子教学课件、微课视频、项目素材（代码和数据等）和考试题库等数字资源。

图书目录

项目1 基础环境搭建与配置

任务1.1 搭建虚拟机
       1.1.1 安装虚拟机软件
       1.1.2 安装master节点虚拟机
       1.1.3 master节点的网络配置
       1.1.4 克隆Slave节点
任务1.2 配置连接工具
       1.2.1 Windows系统连接虚拟机测试
       1.2.2 连接Xshell工具
       1.2.3 Xftp工具使用
任务1.3 Hadoop平台基础环境配置
       1.3.1 设置服务器的主机名称
       1.3.2 关闭并禁用防火墙
       1.3.3 修改主机IP映射文件
       1.3.4 SSH无密码验证配置
       1.3.5 集群时间同步设置
       1.3.6 Java环境安装
项目总结

项目2 Hadoop完全分布式搭建与运行

任务2.1 Hadoop完全分布式集群搭建
任务2.2 Hadoop集群运行
       2.2.1 NameNode格式化
       2.2.2 启动和关闭Hadoop集群
       2.2.3 使用浏览器查看节点状态
项目总结

项目3 Hadoop核心组件应用案例

任务3.1 Hadoop Java API读取序列化日志文件
       3.1.1 配置开发环境
       3.1.2 创建Maven工程
       3.1.3 读取序列化文件
任务3.2 电影网站用户性别测试
       3.2.1 获取数据
       3.2.2 数据变换
       3.2.3 数据清洗
       3.2.4 划分数据集
       3.2.5 实现用户性别聚类
项目总结

项目4 Hive组件安装配置与应用

任务4.1 MySQL关系数据库的安装与配置
       4.1.1 安装MySQL数据库
       4.1.2 配置MySQL数据库
任务4.2 Hive组件安装与配置
       4.2.1 安装Hive组件
       4.2.2 配置Hive环境
       4.2.3 初始化Hive数据库
任务4.3 Hive Shell基本操作
       4.3.1 启动Hive
       4.3.2 Hive数据库操作
       4.3.3 Hive内部表操作
任务4.4 餐饮数据统计分析
       4.4.1 数据说明
       4.4.2 创建数据表并导入数据
       4.4.3 统计分析任务实现
项目总结

项目5 ZooKeeper安装配置与应用

任务5.1 ZooKeeper的分布式搭建部署管理
       5.1.1 master节点安装ZooKeeper组件
       5.1.2 master节点配置ZooKeeper
       5.1.3 Slave节点安装与配置
       5.1.4 管理ZooKeeper服务
任务5.2 服务器上下线动态监控
       5.2.1 创建IDEA工程并连接ZooKeeper
       5.2.2 任务实现
项目总结

项目6 HBase安装配置与应用

任务6.1 HBase安装与配置
       6.1.1 master节点安装HBase组件
       6.1.2 master节点修改配置文件
       6.1.3 在Slave节点安装HBase
       6.1.4 启动HBase集群
任务6.2 HBase Shell基本操作
       6.2.1 HBase Shell应用
       6.2.2 HBase数据表操作
       6.2.3 HBase数据操作
任务6.3 手游信息数据存储设计
       6.3.1 设计表结构
       6.3.2 创建表结构
       6.3.3 业务逻辑
项目总结

项目7 Sqoop组件安装配置与应用

任务7.1 Sqoop安装与配置
       7.1.1 安装Sqoop组件
       7.1.2 修改Sqoop配置文件
       7.1.3 测试安装
任务7.2 Sqoop导入导出应用操作
       7.2.1 准备MySQL数据库数据
       7.2.2 Hive中准备数据库表
       7.2.3 从MySQL中导入数据至Hive
       7.2.4 从MySQL中导入数据至HDFS
       7.2.5 从Hive中导出数据至MySQL
任务7.3 用户日志数据查询与传输
       7.3.1 查询MySQL用户日志数据表记录数
       7.3.2 增量导入MySQL中的用户日志数据至Hive
       7.3.3 导出Hive中的筛选结果至MySQL
项目总结

项目8 Flume组件安装配置与应用

任务8.1 Flume安装与配置
       8.1.1 安装Flume组件
       8.1.2 配置Flume
       8.1.3 创建代理文件
       8.1.4 启动Flume并传输数据
       8.1.5 查看Flume传输的文件数据
任务8.2 广告日志数据采集系统
       8.2.1 广告系统日志数据采集
       8.2.2 广告曝光日志数据采集
项目总结

项目9 Kafka安装配置与应用

任务9.1 Kafka安装与配置
       9.1.1 master节点安装配置Kafka组件
       9.1.2 Slave节点安装Kafka组件
       9.1.3 管理Kafka服务
       9.1.4 Kafka分布式发布订阅消息演示
任务9.2 广告日志数据实时传输
       9.2.1 创建脚本文件
       9.2.2 创建Kafka主题
       9.2.3 Flume采集日志
项目总结

项目10 Spark安装部署与应用

任务10.1 Scala安装与配置
       10.1.1 在master节点安装Scala
       10.1.2 在Slave节点安装Scala
       10.1.3 测试Scala安装情况
任务10.2 Spark安装与配置
       10.2.1 在master节点安装Spark
       10.2.2 修改Spark配置文件
       10.2.3 在Slave节点安装Spark
       10.2.4 运行Spark集群
任务8.3 spark-shell应用举例
       10.3.1 上传数据文件
       10.3.2 运行spark-shell单词统计程序
任务10.4 超市客户聚类分析
       10.4.1 Scala插件安装
       10.4.2 配置Spark运行环境
       10.4.3 数据探索与特征构建
       10.4.4 保存数据至Hive
       10.4.5 K-means聚类
项目总结

项目11 广电大数据用户画像

任务11.1 数据说明与存储
任务11.2 数据探索与预处理
       11.2.1 数据总体概述
       11.2.2 异常数据探索
       11.2.3 主要业务数据探索
       11.2.4 标签阈值探索
       11.2.5 数据预处理
任务11.3 构建SVM预测模型与用户画像
       11.3.1 构建特征列和标签列数据
       11.3.2 SVM预测用户是否挽留
       11.3.3 构建用户画像
项目总结