Hadoop大数据开发基础（第2版）（微课版）

图书介绍

1、本书是“十四五”职业教育国家规划教材，服务国家“大数据”战略人才培养需要，围绕高职大数据培养定位“大数据应用开发”岗位的核心课程《Hadoop大数据技术》教学目标，主要内容包含Hadoop框架、核心组件及生态等知识，Hadoop集群搭建及配置，Hadoop操作、MapReduce编程、数据仓库、分布式数据库，企业真实项目等技术与案例共4个模块、31个学习任务、12个实训任务。2、本书对标“三教”改革要求，贯彻任务导向的理实一体化教学理念和实践特点。注重学生实践能力培养，以解决实际问题为内在驱动，以实战案例贯穿为学习手段。依据“学习目标-任务背景-任务描述-任务实现-实训任务-课后练习”的逻辑主线组织教学内容，融入全国职业院校大数据技术赛项、“泰迪杯”数据分析技能赛等竞赛技术标准，及“1+X”《大数据应用开发(Python)职业技能等级证书》要求，“必须、够用”的知识贯穿其中，“做、中、学”中掌握技能、提升素养，充分体现“岗课赛证”融通特色。3、本书联合X证书标准牵头企业，坚持校企“双元”合作开发，编写成员既有熟悉高职教育教学的职教专家，又有项目经验丰富的资深企业高工。2018年首次出版，2021年对教学知识点、配套资源等进行升级改版，受到广大师生好评，发行量突破3万册。4、本书是新形态一体化教材，配套39个微课视频（二维码随扫随学）、42个PPT与教案、源代码、实训文档、习题等丰富实用的数字化教学资源，方便读者在线学习及资源下载。5、本书适合作为高校大数据技术相关专业教学用书，及大数据技术开发人员、“1+X”证书培训或自学用书。

本书保留原书特色的基础上，对教材进行了内容与代码的全面升级。第2版修订的主要内容如下：1、 第2章修改了Hadoop集群的搭建过程介绍，将使用的CentOS版本由CentOS 6.7升级至CentOS 7.8，将使用的JDK版本由JDK 1.7升级至JDK 1.8，将使用的Hadoop版本由Hadoop 2.6.4升级至Hadoop 3.1.4。 2、第3章新增了“任务3.1 认识Hadoop安全模式”一节内容。 3、第4章和第5章所使用例子数据由社交网站用户访问日志数据更换为竞赛网站用户访问日志数据，并修改了章节中任务实现的内容。 第4章修改了4.1小节MapReduce开发环境的搭建过程介绍，将MapReduce程序的开发环境由Eclipse更换为IDEA，使用的版本为IDEA 2018.3.6（社区版）。4、因为将MapReduce程序的开发环境由Eclipse更换为IDEA，所以第5章修改了5.4小节打包并提交MapReduce程序的过程介绍，在IDEA中实现MapReduce程序的编译打包及提交。5、新增了“第6章 Hive数据仓库”一章。6、新增了“第7章 HBase分布式数据库”一章。7、将原第6章移至第8章，并将项目案例更换为“电影网站用户影评分析”。8、更新了全书的实训和课后习题。

图书目录

第1章 Hadoop介绍

任务1.1 认识Hadoop框架
任务1.2 了解Hadoop核心组件
任务1.3 了解Hadoop生态系统
任务1.4 了解Hadoop应用场景
小结
课后习题

第2章 Hadoop集群的搭建及配置

任务2.1 安装及配置虚拟机
任务2.2 搭建Hadoop完全分布式集群
小结
实训
课后习题

第3章 Hadoop基础操作

任务3.1 认识Hadoop安全模式
任务3.2 查看Hadoop集群的基本信息
任务3.3 上传文件到HDFS目录
任务3.4 运行首个MapReduce任务
任务3.5 管理多个MapReduce任务
小结
实训
课后习题

第4章 MapReduce编程入门

任务4.1 在IDEA中搭建MapReduce开发环境
任务4.2 通过源码初识MapReduce编程
任务4.3 统计网站每日的访问次数
任务4.4 将网站每日访问量根据访问次数进行升序排序
小结
实训
课后习题

第5章 MapReduce进阶编程

任务5.1 筛选日志文件并生成序列化文件
任务5.2 Hadoop Java API读取序列化日志文件
任务5.3 优化日志文件统计程序
任务5.4 在IDEA中打包并提交MapReduce程序
小结
实训
课后习题

第6章 Hive数据仓库

任务6.1 认识Hive数据仓库
任务6.2 访问Hive的3种方式
任务6.3 实现Hive表的创建与修改
任务6.4 实现Hive表中数据的增删改查
任务6.5 掉线率top10基站统计
小结
实训
课后习题

第7章 HBase分布式数据库

任务7.1 认识HBase分布式数据库
任务7.2 安装部署HBase集群
任务7.3 掌握HBase常用的Shell命令
任务7.4 使用HBase Java API实现表设计
任务7.5 查询分析通话记录数据
小结
实训
课后习题

第8章 项目案例：电影网站用户影评分析

任务8.1 了解数据字段并分析需求
任务8.2 多维度分析用户影评
小结
附录A Linux常用操作指令
附录B Hadoop集群组件的常用端口及其说明